Johann Georg Graeve nacque a Naumburg il 29 gennaio 1632. Nel 1650 si iscrisse all'Università di Lipsia per studiare giurisprudenza; ma un viaggio d'affari, per incarico del padre, lo condusse nei Paesi Bassi, dove si trattenne poi per gli studi umanistici-filologici sotto l'influenza di Johann Friedrich Gronov a Deventer. Ad Amsterdam completò questi studi sotto Alexander Morus e David Blondel; nel 1656 si recò a Duisburg, per occupare la cattedra di eloquenza, ma già nel 1658 ritornò a Deventer per succedere al suo maestro Gronov. Si trasferì infine nel 1661 a Utrecht come professore di eloquenza.
Guglielmo III d'Orange lo aveva nominato storiografo di corte ed educatore del principe; ma una storia di Guglielmo, cominciata da Graeve, rimase incompiuta, giacché Graeve era più abile filologo che storico. D'altronde, nonostante la grande rinomanza di cui godeva (rifiutò l'invito fattogli dalla Repubblica di Venezia di occupare la cattedra dell'archeologoOttavio Ferrari a Padova), la sua stessa erudizione era più copiosa che profonda. Eccettuata un'edizione di Esiodo (Amsterdam 1667), si occupò principalmente dei classici latini: Lucano, Svetonio, Catullo, Tibullo, Properzio, Floro, Giustino, le cui opere egli pubblicò. La sua principale opera filologica è costituita dall'edizione delle lettere di Cicerone (6 volumi, Amsterdam 1676-99). Aveva preparato anche alcune vaste raccolte di scritti filologici e storici, secondo il gusto dei tempi: il Thesaurus antiquitatum Romanorum (Utrecht 1694-99, 12 volumi), il Thesaurus antiquitatum et historiarum Italiae (Leida 1704-05, 9 volumi, terminato da Pieter Burman), il Thesaurus antiquitatum et historiarum Siciliae, Sardiniae et Corsicae (Leida 1723-25, 15 volumi). Queste opere sono ancora utili, sostituendo edizioni antiche difficilmente reperibili.