Aínda que existen gravacións súas dende 1946, a carreira discográfica de Coltrane non comezou ata 1955. De 1957 en adiante gravou e produciu ducias de álbums, moitos deles non editados até anos despois da súa morte.
Foi un dos músicos máis influentes da historia do jazz. Reformulou o jazz moderno e foi a principal influencia das sucesivas xeracións de saxofonistas. Xunto cos saxofonistas tenoresColeman Hawkins, Lester Young e Sonny Rollins, alterou fondamente a linguaxe do instrumento.
Morreu de cancro de fígado aos 40 anos o 17 de xullo de 1967 no hospital Huntington de Long Island. O seu funeral tivo lugar catro días despois na igrexa luterana de San Pedro, na cidade de Nova York. O servizo foi iniciado polo Albert Ayler Quartet e rematado polo Ornette Coleman Quartet. Foi inhumado no cemiterio Pinelawn en Farmingdale, Nova York.