Armand Favrot, fortuné parisien, vient d'acheter la villa Les Martielles sur la Côte de Grâce, à Honfleur, et aménage royalement sa douce retraite. Régulièrement, Favrot reprend la route de Paris au volant de sa Buick Sport Wagon, où il va chercher, devant la mairie du XIXe, un groupe d'enfants pauvres qu'il transporte bénévolement jusque dans la région de Genève, où ils pratiquent les sports d'hiver.
Mais cette générosité cache en fait des activités peu recommandables car sous le surnom de « Monsieur Jo », il est un redoutable contrebandier international. Ce qu'il ignore, c'est que la jolie Michèle de Layrac, que ses avances ne semblent pas laisser indifférent est, elle aussi, activement recherchée par la police.
C'est l'avant-dernier film de Fernandel qui trouvait là un rôle de truand mondain, taillé sur mesure pour Jean Gabin. Mais à la différence de ce dernier, il a ajouté dans ce film une touche humoristique qui donne une ambiance plus légère à ce film policier.
La bande originale a été composée par Francis Lemarque et Michel Legrand. La musique de L'Homme à la Buick, qui est délicieusement nostalgique et jazzy, est l'un des points forts de ce film.
Dans son livre Passé la Loire, c'est l'aventure, le réalisateur Gilles Grangier raconte: « Darrieux jouait au théâtre à Paris. Chaque soir, son mari l’attendait à la fin de la représentation et la ramenait à Honfleur. Alors, j’essayais de reculer ses premiers plans pour onze heures du matin et je la libérais vers trois heures de l’après-midi pour lui permettre de repartir vers Paris »[1].
La Buick de Fernandel est en bon état au début et à la fin du film mais elle a l'aile arrière gauche abimée et le feu arrière cassé dans une partie du film (quand Fernandel emmène les enfants aux Rousses).
Une erreur s'est glissée dans le générique de fin car il est indiqué « Tourné à Honfleur en Seine-Maritime » or, Honfleur est située dans le département du Calvados.
La dérision est accentuée par le choix du titre qui rappelle L'Homme à la Rolls, une série TV américaine en vogue à l'époque.