Joseph Kosma werd geboren uit Joodse ouders in Boedapest. Zijn ouders waren leraren in schrijfmachineschrijven en stenografie. Joseph begon op vijfjarige leeftijd met pianospelen en kreeg later muziekles. Na zijn opleiding op het Franz-Josef gymnasium te hebben voltooid studeerde hij aan de Franz Liszt Muziekacademie in Boedapest bij onder anderen Siklos Albert en Leo Weiner en behaalde zijn diploma's in compositie en orkestdirectie. Tussen 1926 en 1928 werkte hij als correpetitor en tweede dirigent aan de Hongaarse Opera in Boedapest. Hij verwierf een beurs om verder te studeren aan de Deutsche Staatsoper. In Berlijn gekomen sloot hij zich aan bij het toneelgezelschap van Bertolt Brecht en raakte bevriend met de componisten Hanns Eisler en Kurt Weill, die hem ook beïnvloedden. In de Duitse hoofdstad ontmoette hij toen ook Lilli Apel, met wie hij later zou trouwen.
Kosma en zijn vrouw verhuisden in 1933 naar Parijs. Daar raakte Kosma bevriend met Jacques Prévert, die hem op zijn beurt introduceerde bij andere kunstenaars, schrijvers en regisseurs waaronder Jean Renoir en Marcel Carné. Gedurende de Duitse bezetting van Frankrijk in de Tweede Wereldoorlog dook Kosma onder en kon hij niet onder zijn eigen naam werken. Desondanks slaagde Prévert erin Kosma muziek te laten maken voor enkele films, waarbij andere componisten zijn werk met hun naam ondertekenden. Tot deze films behoren Les Visiteurs du soir (1942) en Les Enfants du paradis (1945).
Tot zijn belangrijkste werk wordt ook de filmmuziek van La Grande Illusion (1937) en La Règle du jeu (1939) gerekend. De beroemde dichtbundel van Jacques Prévert, Paroles, werd door Kosma op muziek gezet. Kosma is het meest bekend geworden als componist van het chanson Les feuilles mortes, in het Engels "Autumn Leaves”, oorspronkelijk geschreven voor de opera Le Rendez-vous die verfilmd werd onder de titel Les Portes de la nuit (1946).
In 1949 werd hij in Frankrijk genaturaliseerd. In 1956 ontving hij een Grand Prix du Disque voor zijn chanson Inventaire.
1929:- Jeu de cirque: piece pour enfants, op. 10 - tekst: Adolphe Hauert
1952:- Jésus la caille, in 5 taferelen, - tekst: Francis Carco - première: 4 maart1952, Parijs, Théatre Gramont
Oratorium
1958Les canuts, ook bekend als La Weber de Lyon 1831, scenisch oratorium voor spreker, solisten, gemengd koor en orkest[2] - tekst: Jacques Gaucheron - première: 19 juni1959, Berlijn, Staatsoper Unter den Linden
1947Les ponts de Paris "encore une fois sur le fleuve", oratorium voor solisten, gemengd koor en orkest - tekst: Jacques Prévert
1961A l'assaut du ciel - Hommage à la Commune de Paris 18 mars au 28 mai 1871, oratorium - tekst: Henri Bassis
Vocale muziek
Cantates
Ballade de celui qui chanta dans les Supplices, Cantate voor solisten, gemengd koor en orkest - tekst: Louis Aragon