Lardal prestegård er rundt 300 meter sørøst for Svarstad kirke. Prestegården har i likhet med kirken røtter tilbake til middelalderen. Dagens hovedbygning sies å være fra rundt 1800. Det er et laftebygg i to etasjer, og den fikk den nåværende fasaden i 1829. I tillegg finnes et hagehus som skal være oppført en gang i perioden 1815–1827. Begge byggene ble fredet i 1991.