Knattspyrnufélagið Haukar var stofnað þann 12. apríl árið 1931 af hópi ungra pilta úr KFUM. Stofnun félagsins var undir verndarvæng séra Friðriks Friðrikssonar sem stakk upp á nafninu, en séra Friðrik hafði áður fylgst með stofnun Knattspyrnufélagsins Vals innan vébanda KFUM í Reykjavík.
Fyrsta kastið æfðu Haukamenn einkum spretthlaup, en markmið stofnenda var þó að leggja stund á knattspyrnu. Aðstöðumál stóðu Haukapiltum þó fyrir þrifum fyrst í stað þar sem félagið fékk ekki aðgang að knattspyrnuvelli Hafnfirðinga á Hvaleyrarholti fyrr en eftir að það var gengið í Íþróttasamband Íslands, sem gerðist ekki fyrr en snemma árs 1932.
Um þessar mundir var annað knattspyrnufélag starfrækt í Hafnarfirði, Knattspyrnufélagið Þjálfi og öttu liðin kappi fyrstu misserin. Fljótlega lognaðist Þjálfi þó út af og urðu Haukar þá eina knattspyrnufélagið í bænum. Allmargir félagsmenn æfðu knattspyrnu með Haukum en aðrar íþróttir með FH. Kom til alvarlegar umræðu að sameina félögin árið 1939 en strandaði það á deilum um nafngift. Í kjölfarið stofnaði FH sína eigin knattspyrnudeild. Öttu félögin kappi heima fyrir en tefldu löngum fram sameiginlegu liði á Íslandsmóti meistaraflokks karla.
Árið 1932 stofnsettu Haukar karlalið í handbolta og sex árum síðar var kvennalið stofnað. Höfðu Haukar forgöngu um stofnun Íslandsmótsins í handbolta árið 1940 og voru afar sigursælir fyrstu árin.