Nel 1891 sostenne a Berlino l'esame di Stato. Dopo un periodo di lavoro (1891-1895) presso l'Accademia bavarese delle scienze, conseguì l'abilitazione nel 1895 a Gottinga.
Nel 1902 andò come professore ordinario all'Università Georg-August di Gottinga, di cui a fine carriera, nel 1936, divenne poi professore emerito. Qui nel 1913 divenne preside della facoltà di scienze filosofiche, e nel 1919/20 rettore. Nel 1911 e tra il 1932 e il 1937 fu presidente dell'associazione degli storici tedeschi, tra 1921 e 1924 membro e vicepresidente della delegazione provinciale di Hannover del Deutsche Volkspartei.
Oltre che come organizzatore scientifico Brandi si illustrò come biografo dell'imperatore Carlo V, con studi sulla storia di Osnabrück (in particolare con le sue ricerche sui documenti imperiali, i cosiddetti "falsi di Osnabrück"), con l'edizione storico-critica dell'opera di Justus Möser.
Per la sua biografia di Carlo V, Brandi poté contare sul lavoro preparatorio di Hermann Baumgarten, e in origine di tale lavoro voleva comporre una semplice continuazione. Significativo è anche il suo contributo alla storia del Rinascimento italiano.
Era legato da stretta amicizia a Walter Goetz, con cui proseguì il Beiträge zur Reichsgeschichte di August von Druffel.
Carlo V (tit. orig. Kaiser Karl V, 1935), traduzione di Leone Ginzburg e Ettore Bassan, introduzione di Federico Chabod, Collana Biblioteca di cultura storica n.67, Torino, Einaudi, 1961 -IV ed. 1982, pp.XXVI-657.
Carlo V, contributi di Wolfgang Reinhard, Collana ET Saggi, Torino, Einaudi, 2001; Collana Piccola Biblioteca.Nuova serie, Einaudi, 2008.
Kritische Verzeichniss der Reichenauer Urkunden des 8. bis 12. Jahrhunderts, Heidelberg, C. Winter's Universitätsbuch, 1890; serie: Diss. Univ. Strassburg, 1890.
(DE) Karl Jordan, Nekrolog Karl Brandi, in Deutsches Archiv für Erforschung des Mittelalters, vol.8, 1951, pp.250–251.
(DE) Otto Graf von Looz-Corswarem, Nachruf Karl Brandi, in Historisches Jahrbuch, vol.69, 1949, pp.908 e segg.
(DE) Paul Trommsdorff, Der Lehrkörper der Technischen Hochschule Hannover 1831–1931, Hannover, 1931, p.123.
(DE) George Schnath, Karl Brandi, in Niedersächsische Lebensbilder, vol.6, 1969, pp.1-48.
(DE) Wolfgang Weber, Biographisches Lexikon zur Geschichtswissenschaft in Deutschland, Österreich und der Schweiz. Die Lehrstuhlinhaber für Geschichte von den Anfängen des Faches bis 1970, Frankfurt am Main, Bern, New York, Nancy, P. Lang, 1984, pp.61 e segg, ISBN3-8204-1051-1.
(DE) Percy Ernst Schramm, Karl Brandi, in Zeitschrift der Savigny-Stiftung für Rechtsgeschichte, vol.65, Germanistische Abteilung, 1984, pp.464–47.
(DE) Wolfgang Petke, Karl Brandi und die Geschichtswissenschaft in Göttingen, in Geschichtswissenschaft in Göttingen. Eine Vorlesungsreihe, Gottinga, Vandenhoeck & Ruprecht, 1987, pp.287-320, ISBN3-525-35831-8.
(DE) Gerd Steinwascher, Karl Brandi, in Biographisches Handbuch zur Geschichte der Region Osnabrück, Rasch, Bramsche, 1990, pp.41 e segg, ISBN3-922469-49-3.
(DE) Rudolf Vierhaus, Deutsche Biographische Enzyklopädie, vol.2, München, Saur, 2005, p.64, ISBN3-598-25032-0.
(DE) Robert P. Ericksen, Kontinuität konservativer Geschichtsschreibung am Seminar für Mittlere und Neuere Geschichte: Von der Weimarer Zeit über die nationalsozialistische Ära bis in die Bundesrepublik, in Die Universität Göttingen unter dem Nationalsozialismus, München, Saur, 1998, pp.427-453, ISBN3-598-10853-2.
(DE) Ursula Wolf, Litteris et patriae. Das Janusgesicht der Historie, in Frankfurter historische Abhandlungen, vol.37, Stuttgart, Steiner, 1996, p.419, ISBN3-515-06875-9.
(DE) Leo Just, Briefe an Hermann Cardauns, Paul Fridolin Kehr, Aloys Schulte, Heinrich Finke, Albert Brackmann und Martin Spahn 1923–1944, in Beiträge zur Kirchen- und Kulturgeschichte, vol.11, Frankfurt am Main, Berlin, Bern, New York, Paris, Wien, P. Lang, 2002, pp.XCIII e 259, ISBN978-3-631-38931-7.