Eidsberg prestegård ligger like øst for Eidsberg kirke, på den andre siden av fylkesvei 124. Kirkestedet er fra middelalderen, og prestegården ble ikke minst kjent på 1700-tallet, da Jacob Nicolai Wilse var sogneprest i Eidsberg. Dagens våningshus antas å være oppført rundt 1858 og ble restaurert i 1964.