James Mitchell étudie la danse et les arts dramatiques, notamment au Los Angeles City College, en particulier auprès du danseur et chorégraphe Lester Horton. En 1944, il entame à Broadway (New York) une collaboration avec la chorégraphe Agnes de Mille, en participant comme premier danseur à la comédie musicaleBloomer Girl(en). Par la suite, il se produit à Broadway (et "Off Broadway") surtout comme acteur, principalement dans des comédies musicales — dont la création de Brigadoon en 1947 —, mais aussi quelques pièces, la dernière fois en 1974. En outre, dans les années 1950, il danse au sein de l'American Ballet Theatre ou de la compagnie Agnes de Mille Dance Theatre(en) (comme premier danseur en 1953-1954). À Broadway encore, il collabore aussi avec Gower Champion et Jerome Robbins, entre autres.
À la télévision, James Mitchell participe à quelques séries et téléfilms, entre 1952 et 2009. Un de ses rôles télévisés les mieux connus est celui de Palmer Cortlandt Sr., dans plus de trois-cents épisodes du long feuilletonLa Force du destin, le premier en 1979, le dernier en 2009 (épisode diffusé début 2010, moins de trois semaines avant sa mort d'une pneumonie[1]).
1969: Come Summer, musique de David Baker, lyrics et livret de Will Holt, mise en scène d'Agnes de Mille, décors d'Oliver Smith, avec Margaret Hamilton (assistant-metteur en scène, non crédité)