Il devient écuyer en 1817 du prince Édouard duc de Kent. Kent meurt deux ans plus tard laissant une veuve et une fille encore enfant: la princesse Victoria. Conroy devient gestionnaire pendant dix-neuf ans du cabinet de la duchesse. Il est aussi le confident de cette dernière et joue un rôle politique. Ensemble, ils conçoivent le système Kensington.
La princesse Victoria grandit dans la haine de Conroy. Ce dernier est impopulaire au sein de la famille royale. Ses efforts pour placer la duchesse en tant que régente sont finalement infructueux.
En 1837 la reine Victoria monte sur le trône à 18 ans et Conroy est immédiatement expulsé de sa Maison, bien qu'il reste en contact avec la duchesse de Kent. Une pension et le titre de baronnet lui sont attribués.
En 1842, il se retire dans sa propriété près de Reading où il meurt douze ans plus tard.
(en) John Henry Barrow, The Mirror of Parliament for the Preliminary Portion of First Session of the Ninth Parliament of Great Britain and Ireland, Londres, William Clowes,
(en) Bernhard Burke, A Genealogical and Heraldic Dictionary of the Peerage and Baronetage, Volume 42, Part 1, Londres, Harrison and Sons,
(en) John Burke, A Genealogical and Heraldic History of the Commoners of Great Britain and Ireland, Volume 1, Londres, Henry Colburn,
(en) John Debrett, The Baronetage of England, Londres, J.G. & F Rivington,
(en) Michael De-La-Noy, Queen Victoria At Home, New York, Carroll and Graf Publishers, , 287p. (ISBN978-1-84119-611-4)
Elizabeth Longford, «Conroy, Sir John Ponsonby, first baronet (1786–1854), courtier», Oxford Dictionary of National Biography, (DOI10.1093/ref:odnb/37309, lire en ligne, consulté le )
A.W. Purdue, «George III, Daughters of (act. 1766–1857)», Oxford Dictionary of National Biography, (DOI10.1093/ref:odnb/42012, lire en ligne, consulté le )
(en) Helen Rappaport, Queen Victoria: A Biographical Companion, Santa Barbara, CA, ABC-CLIO, Inc, , 465p. (ISBN978-1-85109-355-7, lire en ligne)
(en) Alan R. Rushton, Royal Maladies: Inherited Diseases in the Ruling Houses of Europe, Victoria, B.C., Trafford Publishing, , 261p. (ISBN978-1-4251-6810-0, lire en ligne)
(en) Kate Williams, Becoming Queen Victoria: The Tragic Death of Princess Charlotte and the Unexpected Rise of Britain's Greatest Monarch, Ballatine Books, (ISBN978-0-345-46195-7)
(en) A.N. Wilson, The Victorians, New York, W.W. Norton & Company, Inc, , 738p. (ISBN978-0-09-945186-0)