Na zijn studie aan het lyceum te Zeist en het Christelijk Gymnasium Utrecht ging Visser rechtswetenschappen studeren aan de Rijksuniversiteit Utrecht waar hij in 1928 afstudeerde. Hij huwde de uit Zeist afkomstige jkvr. Jenny de Geer (1907-1966). In 1951 scheidde Visser van zijn vrouw. Hij hertrouwde nog dezelfde maand in Londen met jkvr. Marie Henriette Sophie (Mary) van Tets (1914-2009).
Visser was in 1930-1931 werkzaam als ambtenaar van het Openbaar Ministerie te Arnhem en Wageningen waarna hij volontair werd bij de secretarie van de gemeente Gorssel.
Burgemeesterschap
Op 1 november 1932 werd Visser burgemeester van Avereest. Nog geen vijf jaar later, op 1 augustus 1937, volgde zijn benoeming tot burgemeester van Soest.[1]
Op 1 oktober 1939 werd hij burgemeester van Zeist. In oktober 1944 werd hij door de Duitse bezetter ontslagen. Na de oorlog keerde hij op 1 oktober 1945 terug in zijn functie als burgemeester van Zeist.
Ontslag
Op 1 juni 1947 volgde zijn benoeming tot burgemeester van Den Haag en op 6 juni werd hij geïnstalleerd. Op 23 mei 1949 werden Visser en zijn secretaris Willem Bos ontslagen vanwege een deviezen-smokkel die de geschiedenis is ingegaan als de Zeister Affaire.[2] Hij werd veroordeeld tot een gevangenisstraf van drie maanden en geldboete voor overtreding van deviezenbepalingen.
