Ogata interessierte sich schon während seiner Schulzeit für das Theater und wurde nach Abschluss der Oberschule Mitglied des Shinkokugeki-Ensembles. Dieser Theatergruppe gehörte er von 1958 bis 1968 an. Bereits in seinem ersten Film Tōi hitotsu no michi spielt er die Hauptrolle, einen jungen Boxer. Größere Popularität erlangt er durch zwei Fernsehserien Takōki (1965) und Hissatsu shikakenin (1972–1973). Für seine Rolle des teuflischen Vaters Sōkichi Takeshita in Yoshitarō NomurasKichiku (1978) wurde er mehrfach ausgezeichnet. 1979 spielte er unter der Regie von Shōhei Imamura den Serienmörder Iwao Enokizu in dem Film Fukushū suru wa ware ni ari. Internationale Bekanntheit erlangt er in der Rolle des Bauern Tatsuhei mit dem Film Die Ballade von Narayama, hier auch wieder unter der Regie von Shōhei Imamura. Der Film gewann die Goldene Palme der Filmfestspiele von Cannes. Unter der Regie von Paul Schrader spielte er 1985 die Rolle des japanischen Schriftstellers Yukio Mishima in Mishima – Ein Leben in vier Kapiteln. Allerdings wurde der Film nach Protesten nie in Japan aufgeführt. Seine bekannteste Leistung in einem englischsprachigen Film war die eines Kalligraphen in Die Bettlektüre (1996), unter der Regie von Peter Greenaway. Hier spielte er neben Vivian Wu und Ewan McGregor.
Am 5. Oktober 2008 starb er an Leberkrebs. Seine Söhne Kanta (* 1966) and Naoto (* 1967) sind ebenfalls Schauspieler.[1]