Si vous disposez d'ouvrages ou d'articles de référence ou si vous connaissez des sites web de qualité traitant du thème abordé ici, merci de compléter l'article en donnant les références utiles à sa vérifiabilité et en les liant à la section «Notes et références».
Jim est d'abord inspiré par le jazz, mais la popularité de ce dernier diminue à la fin des années 1950 et au début des années 1960, et c'est l'explosion du rock and roll au milieu des années 1960 qui lui permet de percer dans l'enregistrement. Il va ainsi travailler à Los Angeles. Son premier concert en tant que musicien de session se retrouve sur She's Just My Style pour le groupe pop Gary Lewis & The Playboys.
La carrière musicale de Jim ne lui permet pas de vivre, et pendant ses premières années, il est soutenu par sa femme. Vers la fin des années 1960 toutefois, il commence finalement à travailler régulièrement et est devient finalement l'un des batteurs les plus occupés de Los Angeles. Ses premières performances créditées sur le disque sont avec Gábor Szabó sur l'album de 1968 Bacchanal.
En 1968, Jim travaille également dans un magasin de musique à Pasadena juste en bas de la rue de l'ancien café Ice House quand il est recruté pour jouer de la batterie dans un groupe vocal psychédélique nommé MC Squared avec Michael Crowley, Michael Clough, Linda Carey, (tous du groupe folklorique The Back Porch Majority) et le guitariste / bassiste de session Randy Cierley Sterling. Ils signent chez Mo Ostin et enregistrent un album pour Warner / Reprise intitulé à l'origine MC Squared qui est ensuite remasterisé et réédité en 2012 avec le titre de l'album Tantalizing Colors. Ils apparaissent en direct la même année sur l'émission de télévision de Hugh Hefner After Dark jouant deux chansons: un original des membres de MC Squared Michael Clough et Michael Crowley intitulé I Know You et une reprise de la chanson de Fred Neil Everybody's Talkin. L
C'est son travail avec Leon Russell jouant sur Accept No Substitute de Delaney & Bonnie qui attire l'attention de Joe Cocker, lequel recrute Leon Russell et tous les autres membres du groupe Delaney & Bonnie pour sa tournée Mad Dogs & Englishmen. Jouer avec Joe Cocker le conduit à travailler en 1970 et 1971 sur des albums de Carly Simon (No Secrets), Barbra Streisand (Barbra Joan Streisand), Booker T. Jones (Booker T. & Priscilla), George Harrison (The Concert for Bangladesh) et John Lennon (Imagine).
Il est connu pour son travail de session sur des albums solo de trois ex-Beatles, soit George Harrison, Ringo Starr, John Lennon, autant sur ceux publiés par le Plastic Ono Band que ceux en solo, ainsi qu'avec Yoko Ono).
Jim joue au Concert for Bangladesh de George Harrison en 1971 et l'album de Lennon la même année, Imagine. Lorsque Ringo Starr enregistre son premier album pop, Ringo, Jim joue sur plusieurs chansons. À la suite de cela, il rejoint George Harrison lors de sa tournée de 1974 aux États-Unis. Il joue aussi sur la presque totalité des albums solo de ce dernier, le seul sur lequel il n'apparait pas est Live in Japan sorti en 1992, puisque c'est Steve Ferrone le batteur.
En 1974, on le retrouve sur l'album Pussy Cats de Harry Nilsson produit par Lennon, aux côtés de Ringo et Keith Moon sur Rock Around the Clock. Par la suite il figure sur les albums de Nilsson Son of Schmilsson avec Harrison, Starr et le bassiste Klaus Voormann, ainsi que Duit on Mon Dei avec Starr et Voormann.
La relation de Jim avec les anciens Beatles est telle que son nom est utilisé pour parodier Paul McCartney sur les albums publiés par Harrison et Starr en 1973. Au début de cette année-là, McCartney, le seul Beatle à ne pas avoir travaillé avec Jim, inclut une note sur la pochette arrière de son album Red Rose Speedway, encourageant les fans à rejoindre le Wings Fun Club en envoyant une enveloppe adressée timbrée à une adresse à Londres. Plus tard cette année-là, l'album de George Harrison, Living in the Material World et celui de Ringo Starr, Ringo contiennent une note similaire encourageant les fans à rejoindre le Jim Keltner Fan Club en envoyant un éléphant déshabillé estampé à une adresse à Hollywood.
Dans le vidéo-clip de George Harrison This Song en 1976, il tient le rôle du juge
En 1989, il fait une tournée avec Ringo Starr et son All-Starr Band, on peut donc le trouver sur l'album Ringo Starr and His All-Starr Band publié en 1990.
Jim est un fan des batteries, du matériel et des pédales DW, des baguettes, des cymbales Paiste, des peaux Remo et des percussions électroniques Roland.
En 1987, Jim, avec le guitariste Ry Cooder et le bassiste Nick Lowe, joue sur Bring the Family de John Hiatt. Quatre ans plus tard, les quatre musiciens se réunissent pour former le groupe Little Village, enregistrant un album homonyme.
Il joue de la batterie sur les deux albums publiés par les Traveling Wilburys, sous le pseudonyme de Buster Sidebury.
