Clarence White had een Canadese vader. Zijn liefde was sinds zijn vroegste kinderjaren de in het zuiden van de Verenigde Staten gewortelde bluegrassmuziek. Nadat de familie naar Californië verhuisd was, formeerde hij met zijn broers Eric en Roland The Three Little Country Boys, waaruit in 1962 The Kentucky Colonels ontstonden. De band speelde een moderne bluegrass, waarin ook elementen van andere stijlrichtingen voorkwamen. Aan de Westkust ontstond in die jaren een klein maar kwalitatief uitgelezen bluegrasscircuit. Gedragen door getalenteerde muzikanten als Chris Hillman, The Gosdin Brothers en Clarence White kon dat zeker op tegen de oppermachtige folkbeweging.
Nadat The Kentucky Colonels in 1965 waren ontbonden, werkte White eerst als sessiegitarist. Hij werkte mee bij opnamen van onder anderen Gib Guilbeau, Gene Parsons, The Gosdin Brothers en Wynn Stewart, en hij nam een eigen album op, dat echter niet werd uitgebracht.
In 1968 voegde hij zich bij de band Nashville West, waarin o.a. Gene Parsons en Gib Gilbeau speelden. In hetzelfde jaar werd hij lid van The Byrds. Daar verving hij Gram Parsons, die de band met ruzie had verlaten. Nadat ook Chris Hillman was opgestapt om samen met Gram Parsons en Sneaky Pete Kleinow The Flying Burrito Brothers te formeren, aanvaardde White samen met Roger McGuinn de muzikale leiding.
In de loop van opnamesessies kwamen White en Parsons in 1968 op het idee om door de inbouw van een hendelmechanisme (StringBender, ook bekend als B-Bender) in Whites Fender Telecaster speelvarianten mogelijk te maken die tot dan alleen mogelijk waren op de pedal-steelgitaar. Met een B-bender wordt de toonhoogte van de B-snaar veranderd door de gitaar die aan een band over de schouder van de gitarist hangt naar beneden te duwen. White gebruikte dit effect overvloedig op Byrds-opnamen. Tegenwoordig is de sound van B-Bender Telecasters te horen op vele country-opnamen. Er bestaat ook een minder gebruikte variant voor de G-snaar; de G-Bender.
The Byrds gingen in 1973 definitief uit elkaar en White werkte weer als sessiemuzikant. Hij voegde zich voor korte tijd bij de bluegrassband Muleskinner[5] en ondersteunde Gene Parsons bij het opnemen van zijn eerste soloalbum. Iets later werden The Kentucky Colonels opnieuw geformeerd. Er waren een Europese tournee en een eerste eigen album gepland.
In juli 1973 gebeurde er een tragisch ongeval bij het inladen van de instrumenten na een bluegrassconcert. Clarence White en zijn oudere broer Roland raakten zwaar gewond door een dronken automobiliste. Clarence overleed op 29-jarige leeftijd aan zwaar hersenletsel. Een dag eerder waren nog nieuwe plannen gemaakt voor een verdere samenwerking met Roger McGuinn op diens verjaardagsfeest. Clarence White liet een vrouw en twee kleine kinderen achter. Zijn instrumenten werden na zijn dood verkocht aan bevriende muzikanten. Zijn Telecaster (Frankenstein) wordt tegenwoordig gespeeld door Marty Stuart, die de gitaar altijd als een soort heilige relikwie toont aan het publiek. Zijn akoestische gitaar wordt gespeeld door Tony Rice. Replica's van deze gitaren werden gefabriceerd door Fender, Martin en Santa Cruz.
Rolling Stone noteerde White in 2011 op de 52e plaats van de 100 beste gitaristen aller tijden. In een lijst uit 2003 stond hij op de 41e plaats.