Prévost wurde 1939 im Pariser Stadtteil Garches geboren und wuchs ohne Vater in einem Arbeiterumfeld auf. Erst im Alter von 35 Jahren erfuhr er von einer im Sterben liegenden Tante, dass sein Vater ein Kabyle aus Algerien war. Als Kind schrieb er Gedichte, um den Tod seiner Großmutter zu verarbeiten.[2] Nach einem dreijährigen Studium an der École de la rue Blanche, einer von drei nationalen Schauspielschulen Frankreichs, war er ab den 1960er Jahren häufig auf der Bühne in Stücken Molières zu sehen. Als er 1964 in Robert Roccas Un certain monsieur Blot auftrat, lernte er den Regisseur Jean Yanne und den Schauspieler Michel Serrault kennen, mit denen er später mehrfach zusammenarbeitete. 1966 stand er erstmals vor der Filmkamera. Seither trat er in mehr als 70 Kinofilmen zumeist in komödiantischen Nebenrollen auf. Bekannt wurde er jedoch im französischen Fernsehen durch die Satiresendung Le Petit rapporteur (1975–1976).
Im Jahr 1985 veröffentlichte er mit Coco belles-nattes das erste mehrerer teils autobiografischer Bücher. 1995 folgte Le Pont de la révolte, 1998 Le Passé sous silence.[3] Zudem verfasste er Theaterstücke wie Vite une femme und Sodome et Virginie. Für seine erste große dramatische Rolle in der Literaturverfilmung Uranus (1991) an der Seite von Gérard Depardieu und Philippe Noiret erhielt er eine Nominierung für den César als Bester Nebendarsteller, den er schließlich 1999 für die Rolle eines Steuerfahnders in der Filmkomödie Dinner für Spinner gewinnen konnte.
Seine dänische Ehefrau Jette, eine Tänzerin, die er im Alter von 21 Jahren bei einer Theaterinszenierung von Molières Der eingebildete Kranke in Dänemark kennengelernt hatte,[3] starb am 19. März 2007. Aus der Verbindung gingen die drei Söhne Sören, Christophe und Erling hervor. Im Jahr 2008 war Prévost in dem aus seiner Feder stammenden Theaterstück Federico, l’Espagne et moi unter der Regie seines Sohnes Erling auf der Bühne zu sehen.[3] Seit April 2008 ist er mit Françoise Marie Di Ciacco verheiratet.[1]