Son père, Albert Alain, est organiste de Saint-Germain-en-Laye et compositeur. Olivier Alain est le frère de Jehan Alain (1911-1940), bien connu comme compositeur et organiste, et de Marie-Claire Alain (1926-2013), organiste de renommée internationale. Au Conservatoire de Paris Olivier Alain fut l'élève de Tony Aubin et d'Olivier Messiaen en 1950 et 1951. Il dirigea le Conservatoire de Saint-Germain-en-Laye de 1950 à 1964, directeur de l'École supérieure de musique César Franck de 1961 à 1972 où il enseigna la composition et l'analyse musicale. Il fut également inspecteur de la musique au Ministère de la culture. En 1976, il fonda le Conservatoire national de région de Paris, qu'il dirigea jusqu'en 1985. Il a aussi été critique musical pour Le Figaro, Les Nouvelles Littéraires et La Croix. Il est notamment l'auteur d'un oratorio, de motets et de diverses pièces pour orgue. Il découvrit dans une bibliothèque privée à Strasbourg 14 Canons inédits de Jean-Sébastien Bach, sur les 8 notes fondamentales de l'aria initiale des Variations Goldberg (BWV 1087). Ces canons furent donnés en première audition dans cette ville en 1974. Ils sont considérés comme une découverte musicologique majeure du XXesiècle sur la musique de Bach.
1950: Prix d'analyse musicale (classe de Messiaen)
Aventure op. 144 pour flûte et orgue (1953. Paris: Salabert)
Suite française: Suite pour Rameau op. 163 pour trompette et orgue ou flûte et orgue (1964. Sampzon: Éditions Delatour France) créée en 2010 par Yannick Merlin (orgue) et François Frémeau (trompette)
Ballade op. 163b pour piano et orgue (1948. Sampzon: Éditions Delatour France)
Songe ou Souvenances (Mneïa) op. 164 pour hautbois et orgue ou flûte et orgue (1973. Sampzon: Éditions Delatour France)
Threnos (Deuils) op. 167 pour piano et orgue (1982. Sampzon: Édition Delatour France)
Œuvres chorales
Lucis Creator optimae op. 55 pour chœur et orgue (1939. Sampzon: Éditions Delatour France)
Petrus quidem op. 76 pour chœur a cappella (1943. Sampzon: Éditions Delatour France)
Jesu, dulcis amor meus op. 77 pour chœur, solistes et orgue (1943. Sampzon: Éditions Delatour France)
Noël: Allons, ma voisine op. 78 pour chœur a cappella (1943. Sampzon: Éditions Delatour France)
Cibavit eos op. 88 pour chœur a cappella (1944. Sampzon: Éditions Delatour France)
3 Repons du Vendredi Saint op. 136-138 pour chœur a cappella (1951. Sampzon: Éditions Delatour France)
3 Repons du Jeudi Saint op. 139-141 pour chœur a cappella (1952. Sampzon: Éditions Delatour France)
3 Déplorations: Repons du Samedi Saint op. 145-147 pour voix et clavier (1954. Sampzon: Éditions Delatour France)
Decourt, Aurélie (2008): "Olivier Alain: Un artiste déchiré entre ses passions." In Association Maurice & Marie-Madeleine Duruflé: Bulletin Nos. 7-8 (2007-2008): 106-111.
Guillard, Georges (2008): "Olivier Alain: Passeur et accoucheur de musiciens." In Association Maurice & Marie-Madeleine Duruflé: Bulletin Nos. 7-8 (2007-2008): 102-105.