ーで造られたようだが、後に石造りとなり、時代を経て補強・拡張されていった。町は周辺へと広がってゆき、1075年頃にはベネディクト会の小修道院 (priory) が設立されたが、これはウイリアム・フィッツオズベルンの息子 Roger de Breteuil (en) が失脚した後にモンマスの領主となったブルトン人の
Alicia de Barrow)に移り、1271年には英国ホスピタル騎士団としても知られる、「エルサレムの聖ヨハネ小教会」(英: The Priory of St John of Jerusalem)へと譲渡された。この裕福な領主小教会は、農場と納屋が付いた石造りの田舎風大屋敷としてハイベリー荘園を建立した。