Albany Rural Cemetery

早在1803年，他经历了一次车祸并在之后深受后遗症。1806年9月9日，帕特森死于任内。他葬在纽约州奥尔巴尼的奥尔巴尼乡村公墓（英语：Albany Rural Cemetery），埋在这个公墓中的还有大法官鲁弗斯·威勒·派克汉姆（英语：Rufus Wheeler Peckham）和总统切斯特·亚瑟。