Das gemeinsam mit Karl von Großheim betriebene Architekturbüro Kayser und von Großheim mit Sitz in Berlin und Zweigbüro in Düsseldorf, dieses unter der Leitung und ab 1899 der Teilhaberschaft von Max Wöhler, war vor allem im großbürgerlichen Villenbau tätig, erhielt aber auch öffentliche Bauaufträge. So entwarfen sie die Pläne für das Reichsmilitärgericht am Witzlebenplatz und die Kunst- und Musikhochschule an der Hardenbergstraße in Berlin. In dem Büro waren unter anderem die Architekten Julius Graebner und Albert Gessner angestellt.
Kayser war lange im Vorstand des Vereins Berliner Künstler und Vorsitzender der Vereinigung Berliner Architekten.
1872/1873: Gebäude für die Norddeutsche Grund-Credit Bank in Berlin, Behrenstraße 7a
1881–1884: Umbau von Schloss Klitschdorf für den Grafen/Fürsten Johann Georg zu Solms-Baruth in Klitschdorf (Niederschlesien) (heute: Kliczków, Polen) (nach 1945 verfallen, 1999 wiederaufgebaut)
1882:–9999Villa Gussow für den Maler Karl Gussow (1843–1907) in Berlin, Buchenstraße. In dem Haus waren auch ein Meister- und ein Schüleratelier integriert, Gussow betrieb hier eine private Kunstschule.[4]
1890:–9999 Erweiterungsbau des Wäschekaufhauses und der Wäschefabrik Heinrich Jordan in Berlin-Kreuzberg, Markgrafenstraße 87/88 / Lindenstraße (1899 durch Kayser und von Großheim umgebaut oder erweitert, kriegszerstört)[6]
1890–1893: „Domhotel“ in Köln, Roncalliplatz (verändert erhalten)
1891:–9999 Villa für den Verleger Carl Müller-Grote, genannt Haus Erlenkamp, in Babelsberg, Karl-Marx-Straße 2 (erhalten). Das Haus diente während der Potsdam-Konferenz vom 17.Juli bis 2.August 1945 als Residenz des US-amerikanischen Präsidenten Harry S. Truman und wurde von der amerikanischen Delegation „Little White House“ genannt. Seitdem ist das Haus als Truman-Villa bekannt.
1895/1896: Geschäftshaus Gutschow in Berlin-Kreuzberg, Friedrichstraße 17 (unter Denkmalschutz)[7]
1895/1896: Wohnhaus für den Verleger Paul Parey, genannt Villa Parey, in Berlin-Tiergarten, Sigismundstraße 4A (unter Denkmalschutz, zwischen 1991 und 1998 in den Neubau der Gemäldegalerie integriert)
1899–1902: Königlich Preußische Hochschule für bildende Künste und Königlich Preußische Hochschule für Musik (zusammengehöriges Gebäudeensemble) in Berlin-Charlottenburg, Hardenbergstraße
1901/1902: Verwaltungsgebäude des Saarbrücker Knappschaftsvereins in Saarbrücken-St. Johann (stark verändert erhalten)
1901/1902: Parkhotel in Düsseldorf, Corneliusplatz (verändert erhalten)
1902/1903: Wohnhaus nebst Atelieranbau für seinen Bruder, den Fabrikanten Engelbert Kayser in Köln, Machabäerstraße/Kaiser-Friedrich-Ufer
1902–1904: Reichsbank-Hauptstelle in Dortmund, Hiltropwall (1944 kriegszerstört)
1904/1905: Wohnhaus für den Buchhändler Hermann Stilke in Berlin-Charlottenburg, Bellstraße (verändert erhalten, genutzt durch die Technische Universität Berlin)
Adolf Rosenberg, Hugo Licht:Architektur Deutschlands: Übersicht der hervorragendsten Bauausführungen der Neuzeit. Band2. Verlag von Ernst Wasmuth, Berlin 1882, S.10 (igi.ub.uni-heidelberg.de[abgerufen am 24.März 2023]).
Wohnhaus Hardt in Berlin, Thiergartenstraße 35. In: Blätter für Architektur und Kunsthandwerk. Band4, Tafel 84, 1891 (digital.zlb.de[abgerufen am 4.April 2023]).
Architekten- und Ingenieur-Verein zu Berlin (Hrsg.): Berlin und seine Bauten. Teil VIII: Bauten für Handel und Gewerbe. Band A: Handel. Wilhelm Ernst & Sohn, Berlin 1978, ISBN 3-433-00824-8, S. 136.