Joseph Jean-Jacques Chevallier naît à Paris. Son père est militaire. Il étudie le droit à partir de 1918 et obtient une licence de droit à l'université de la Sorbonne en 1921. Il étudie le commerce à l'école de commerce de Nancy pendant deux ans. En 1924, il reçoit un doctorat en science politique de l'université de Nancy, puis un doctorat en jurisprudence de la même université en 1925[2].
Dans les années 20, il est champion de France universitaire du 400 mètres[3].
Il devient professeur à la faculté de droit et des sciences économiques de Grenoble de l'université Grenoble en 1925. Il reste à ce poste jusqu'en 1942[2]. Entre 1937 et 1939, il est professeur à l'université de Belgrade, ainsi qu'administrateur de l'Institut français de Belgrade.
Dès son retour en France, il devient chargé de cours à la faculté de droit de Paris. Il est détaché à partir de 1941 comme directeur de l'éducation générale au Commissariat à l'éducation générale et aux sports, mais quitte ce poste dès 1942. Il retourne à la faculté de droit de Paris en 1943, où il devient chargé de cours, puis professeur de droit constitutionnel (1944), et professeur d’histoire des idées politiques (1957)[4].
Entre 1951 et 1952, il est directeur de recherches pour le droit public et la science politique au Centre national de la recherche scientifique (CNRS). Jean-Jacques Chevallier a aussi présidé le jury de l'agrégation de droit public[6].
Il laisse de nombreux ouvrages, en particulier un grand classique sur Les grandes œuvres politiques de Machiavel à nos jours. Cet ouvrage, qui «comble une grave lacune de l'historiographie française»[9], paru en 1949 avec une lettre-préface d'André Siegfried, loué à sa sortie par l'historien Lucien Febvre[10], est réédité en 1963, puis en 2001, avec une mise à jour d'Yves Guchet, et enfin en 2005[11].
J. J. Chevallier consacre les dernières années de sa vie à une grande «Histoire de la pensée politique», laissée inachevée.
Les grandes œuvres politiques: de Machiavel à nos jours, Paris, Armand Colin,1949, réédit. 1962 et 1970 (nouv. éd. (avec Yves Guchet), A. Colin, Collection «U», Paris, 2001, 303 p. (ISBN2200261799)
(avec Mario Albertini, Pierre Armaud, Henri Buch,...), L'Idée de nation, Presses universitaires de France, Paris, 1969, 232 p.
Histoire de la pensée politique, 3. vol. (tome 1: De la Cité-Etat à l'apogée de l'Etat-nation monarchique, 370 p.; tome 2: L'Etat-nation monarchique vers le déclin, 249 p.; tome 3: La grande transition: 1789-1848, 293 p.), Payot, Paris, 1979-1984, rééd. en un volume 1993 et 2006, 895 p. (ISBN2-228-90127-X)
Histoire des institutions et des régimes politiques de la France de 1789 à nos jours, Dalloz, 1952, 1958,...1991 (8e éd.), 1028 p. (ISBN2247011837)
Histoire des institutions et des régimes politiques de la France de 1789 à 1958, Colin, Paris, 2001 (9e éd.), 748 p. (ISBN2247038247) (avec Guy Carcassonne, Olivier Duhamel), La Ve république, 1958-2004: histoire des institutions et des régimes politiques de la France, Colin, Paris, 2004 (11e éd. entièrement refondue), 595 p. (ISBN2247055788) Préfaces de Jean-Jacques Chevallier
(avec Mario Albertini, Pierre Armaud, Henri Buch), L'Idée de nation, Presses universitaires de France, Paris, 1969, 232 p.
Jean Beauté, Un grand juriste anglais, Sir Edward Coke, 1552-1634: ses idées politiques et constitutionnelles: ou, aux origines de la démocratie occidentale moderne, Presses universitaires de France, coll. «Science politique» no5, Paris, 1975 (?), 230 p. (ISBN2130405673)vec une ind
Jacques Cadart, Régime électoral et régime parlementaire en Grande-Bretagne, Colin, coll. «Cahiers de la Fondation nationale des sciences politiques» no5, 1948, 224 p. Publication partielle d'une thèse.
Jean-Pierre Ferrier, La pensée politique de Constantin Pecqueur, Librairie générale de droit et de jurisprudence, coll. «Bibliothèque constitutionnelle et de science politique», t.37, Paris, 1969, 189 p.
Yves Guchet, Technique et liberté, Nouvelle éditions latines - Faculté de droit et des Sciences économiques, Paris, 1967, 338 p.
Jean Claude Lamberti, La notion d'individualisme chez Tocqueville, Presses universitaires de France, coll. «Science politique» no19, Paris, 1970, 86 p.
Jean-Louis Loubet del Bayle, Politique et civilisation: essai sur la réflexion politique de Jules Romains, Drieu La Rochelle, Bernanos, Camus, Malraux, Presses de l'Institut d'études politiques de Toulouse, 1981, 335 p. (ISBN2903847002)
Pierre Lux-Wurm, Le péronisme, éd. R. Pichon et R. Durand-Auzias, coll. «Bibliothèque constitutionnelle et de science politique», t.14, Paris, 1965, 273 p.
Pierre Louis Mathieu, La Pensée politique et économique de Teilhard de Chardin, Seuil, Paris, 1969, 303 p.
Jacqueline Morand, Les idées politiques de Louis-Ferdinand Céline, Librairie générale de droit et de jurisprudence, coll. «Bibliothèque constitutionnelle et de science politique», t.46, Paris, 1972, 216 p.
Alexandre Parodi, Notice sur la vie et les travaux d'Yves Chataigneau (1891-1969), Académie des sciences morales et politiques, séance du , Institut de France, Paris, 1972, 14 p.
Roger Reibel et Pierrette Romgère, Socialisme et éthique, Presses universitaires de France, Paris, 1966.
Jacques Driencourt, "La Propagande, nouvelle force politique", Armand Colin, 1950.
Apports de René Capitant à la science juridique: théorie générale du droit, droit administratif, droit constitutionnel et science politique, droit privé, Litec, (ISBN978-2-7111-2191-5, lire en ligne)
Sylvio Hermann De Franceschi, «L'histoire des idées politiques en France et en Italie. Parcours comparés d'une discipline (1920-1970)», Revue Française d'Histoire des Idées Politiques, vol.31, no1, , p.3–37 (ISSN1266-7862, DOI10.3917/rfhip.031.0003, lire en ligne, consulté le )
Jean-Jacques Chevallier, Les grandes oeuvres politiques de Machiavel à nos jours, Armand Colin, , 336p. (ISBN9782200345853)
Collectif, Histoire des idées et idées sur l'histoire: études offertes à Jean-Jacques Chevallier, Éditions Cujas, Paris, c1977, 274 p.
Pierre Raynaud, Notice sur la vie et les travaux de Jean-Jacques Chevallier (1900-1983), Palais de l'Institut, coll. «Institut de France» no11, Paris, 1987, 19 p.