Urodził się w Yonkers w stanie Nowy Jork[5] w rodzinie rzymskokatolickiej jako syn Barbary (z domu Kamp; 1910–1995), z pochodzenia Niemki, i golfisty Elmera Voighta (z domu Voytka; 1909–1973), który był z pochodzenia Słowakiem[6]. W 1956 ukończył Archbishop Stepinac High School w White Plains, a w 1960 został absolwentem The Catholic University of America[7]. Dorastał z dwoma braćmi, Barrym (ur. 1937), wulkanologiem na Pennsylvania State University, i Jamesem Wesleyem (ur. 21 marca 1940), piosenkarzem i współautorem m.in. przebojów „Wild Thing” i „Angel of the Morning”[5]. Ich dziadek i babka ze strony ojca byli imigrantami ze Słowacji, a dziadek i babka ze strony matki byli imigrantami niemieckimi[8].
Po ukończeniu studiów przeniósł się do Nowego Jorku, gdzie rozpoczął karierę aktorską. W 1960 studiował aktorstwo w Neighborhood Playhouse, a jego mentorem był Sanford Meisner.
Kariera
Pojawił się gościnnie w serialach ABC Naked City (1963), CBS The Defenders (1963) i Gunsmoke (1966-69). W styczniu 1965 wystąpił na scenie Off-Broadwayu jako Rodolfo w sztuce Arthura MilleraWidok z mostu (A View from the Bridge). W 1966 spędził sezon w California National Shakespeare Festival. W następnym roku zdobył Theatre World Award za rolę w spektaklu That Summer, That Fall i grał tytułową rolę w komedii fantasy Philipa KaufmanaNieustraszony Frank (Fearless Frank, 1967). Za kreację hustlera Joego Bucka w dramacie Johna SchlesingeraNocny kowboj (Midnight Cowboy, 1969) u boku Dustina Hoffmana zdobył nominację do Oscara, a także otrzymał nagrodę Złotego Globu i BAFTA. Film zapewnił mu międzynarodową rozpoznawalność[9]. W 1970 odrzucił główną rolę w filmie Love Story[10].
W melodramacie Franco Zeffirelli'egoMistrz (The Champ, 1979) wcielił się w postać Billy’ego Flynna, byłego mistrza bokserskiego, który zakończył karierę. Zdobył uznanie krytyków za rolę bezwzględnego rabusia bankowego Oscara 'Manny’ego' Manheima w dramacie sensacyjno-przygodowym Andrieja KonczałowskiegoUciekający pociąg (Runaway Train, 1985). Kolejną nominaację do Złotego Globu zdobył jako John Wright w dramacie Johna SingletonaRosewood w ogniu (Rosewood, 1997). Był Noem w biblijnym filmie telewizyjnym Johna IrvinaArka Noego (1999).
W 2013 wygrał Złoty Glob i był dwukrotnie nominowany do nagrody Emmy (w 2013 i 2015 roku) za rolę drugoplanową w serialu Ray Donovan.
Życie prywatne
Był dwukrotnie żonaty. 30 kwietnia 1962 poślubił aktorkę Lauri Peters, z którą rozwiódł się w 1967. 12 grudnia 1971 ożenił się z aktorką i modelką Marcheline Bertrand, z którą ma dwoje dzieci: syna Jamesa Havena (ur. 11 maja 1973) i córkę Angelinę Jolie (ur. 4 czerwca 1975)[12]. Po separacji z żoną w 1976 związał się z aktorką Stacey Pickern[12].