Shepp è cresciuto a Filadelfia, in Pennsylvania, dove ha studiato pianoforte, clarinetto e sassofono contralto, prima di concentrarsi sul sassofono tenore, anche se occasionalmente suona il sassofono soprano.
Dal 1955 al 1959 studia recitazione al Goddard College ma, a causa dello scarso successo come attore, specialmente dopo il trasferimento a New York, decide di intraprendere la professione di musicista. Per un breve periodo suona in una orchestra latin jazz, ma ben presto si unisce al gruppo del giovane pianista d'avanguardia Cecil Taylor, che ha da poco cominciato a distinguersi tra i pianisti seguaci di Thelonious Monk per diventare una delle più importanti e controverse figure dell'avanguardia degli anni sessanta. Il nome di Shepp appare in tutti e tre i dischi fondamentali di Taylor. La sua prima esperienza discografica importante a nome proprio arriva insieme al gruppo dei New York Contemporary Five. Arrivano poi anche i dischi incisi per l'etichetta Impulse! Records insieme a John Coltrane, che ha per Shepp una profonda ammirazione. Il primo di questi dischi è Four for Trane, in cui partecipa anche l'amico trombonista Roswell Rudd. Insieme a Coltrane Shepp partecipa nel 1965 anche alle sessioni di registrazione per A love supreme, ma nessuna delle registrazioni in cui appare viene poi inclusa nel disco finale.[1]
Nel 1965 con la pubblicazione di Ascension, Shepp e Coltrane diventano gli esponenti di spicco dell'avanguardia newyorchese. Questa situazione diventa emblematica con l'uscita di New Thing at Newport in cui una faccia dell'LP è dedicata a Coltrane e l'altra a Shepp. Alcuni critici ritengono che in questa fase Shepp fosse ancora troppo influenzato da Coltrane, e in effetti l'influenza di Coltrane in generale era all'epoca così profonda che quasi nessun sassofonista del tempo è riuscito a evitare che gli fosse mossa questa critica. Nello stesso anno esce anche Fire Music, in cui si leggono i primi segni dell'afrocentrismo di Shepp. Nell'album viene recitata una poesia su Malcolm X, mentre il titolo è preso dalla tradizione della "musica cerimoniale africana"[2]. Si nota che Shepp cerca di uscire dai confini del jazz, ma rimane in qualche modo legato alla tradizione del bebop. Sono notevoli le originali riletture di alcuni standard come The Girl from Ipanema di Jobim.
Anche il disco successivo, nel 1967, The Magic of Ju-Ju, prende il nome dalla tradizione africana. All'epoca erano molti i jazzisti afroamericani che stavano prendendo coscienza dell'afrocentrismo e della tradizione musicale del continente africano. Shepp continuò a sperimentare lungo tutti gli anni settanta, dando vita a dischi come Attica Blues e The Cry of My People. A partire dal 1972 compaiono anche le affermazioni più radicali di Shepp a proposito della libertà dei neri.
Tra la fine degli anni settanta e gli anni ottanta Shepp passa continuamente dal suo percorso alla scoperta della musica tradizionale africana al jazz più tradizionale, incidendo anche con musicisti europei come Jasper Van't Hof. Nei primi anni novanta suona spesso con il trombettista francese Eric Le Lann con cui regista Live in Paris nel 1995.
Lungo gli anni della sua carriera Shepp riprende occasionalmente il suo primo interesse, la recitazione, con opere come The Communist nel 1965 o Lady Day: A Musical Tragedy nel 1972.
A partire dal 1970 fino ai primi anni del 2000 Archie Shepp è stato professore nel dipartimento di studi afroamericani all'università del Massachusetts dove insegnava sia musica che storia della musica.
Come leader
1963 Vinile; Archie Shepp in Europe/Vol. 1 With the New York Contemporary 5; Delmark; DS-9409