Het Huis ten Berghe is een ruïne van een 13e-eeuwse kasteelwoontoren. Het is gelegen midden op het tegenwoordige kerkhof van de Hillegondakerk. Het kasteel is waarschijnlijk in de 13e eeuw gebouwd op een zandlaag, waarna een heuvel werd opgeworpen. De woontoren had een afmeting van 10 bij 10 meter. Hoewel niet met zekerheid te zeggen, is het kasteel mogelijk gesticht door Willem II van Holland.