第一次鴉片戰爭之後，清政府和法國於道光二十四年（1844年）簽訂中法黃埔條約，宣佈重新允許天主教在中國傳教，發還教產。1856年1月21日，教廷將南京教區改為江南代牧區（Apostolic Vicariate of Kiangnan），轄江蘇、安徽兩省，主教駐上海，委託耶穌會管理。南京成為江南代牧區之下的一個總鐸區。
1921年8月8日，江蘇省和安徽省分別成立江蘇代牧區（Apostolic Vicariate of Kiangsu）和安徽代牧區，主教座堂分別位於上海和蕪湖。1922年5月1日，江蘇代牧區又改名為南京代牧區（Apostolic Vicariate of Nanking）。南京代牧區的主教有姚宗李（1922年—1931年）和惠濟良（1931年－1933年）。
羅伯濟（羅類斯，Bishop Lodovico Maria Besi） 1840年1月10日-1848年7月9日（宗座署理）山東代牧區宗座代牧。1805年10月16日生於意大利維羅納，意大利聖家書院修士，1829年晉鐸，1839年被任命為山東代牧區首任代牧，兼任南京教區宗座署理，1847年返回歐洲，1848年7月9日辭職，1850年被任命為聖座駐阿根廷大使，1871年9月8日去世，駐浦東金家巷和網尖
趙方濟（Bishop Francesco Xavier Maresca, O.F.M.）1848年7月9日-1855年11月2日 1805年生於意大利那不勒斯，那不勒斯聖家書院，1847年1月12日被任命為南京教區助理主教，1855年4月回國休養，11月2日在那不勒斯聖家書院去世，駐上海
徐類思（徐伯達，Bishop Luigi Celestino Spelta, O.F.M.） 1855年11月2日—1856年4月8日 1818年4月9日生於意大利皮埃蒙特，方濟各會，1848年9月7日被任命為南京教區助理主教，1856年4月8日調任湖北代牧區主教，1862年去世，駐上海
惠濟良（Bishop Auguste Alphonse Pierre Haouisée, S.J.） 1931年5月13日－1933年12月13日 1877年10月1日生於法國北部濱海省，1910年晉鐸，1928年6月25日任南京代牧區助理代牧，1931年5月13日繼任南京宗座代牧，駐上海。1933年12月13日任上海代牧區宗座代牧，1946年4月11日任上海主教，1948年9月10日去世
于斌（聖名：保祿 Bishop Paul Yü Pin）1936年7月7日—1946年4月11日 1901年4月13日生於中國黑龍江省蘭西縣，1928年晉鐸，1936年7月7日任南京代牧區宗座代牧，1946年4月11日任南京總主教
南京總教區總主教
于斌（聖名：保祿 Bishop Paul Yü Pin）1946年4月11日—1978年8月16日 1949年至台灣，1969年4月28日升任樞機，1978年8月16日逝世於梵蒂岡
龔品梅（聖名：依納爵 Cardinal Ignatius Kung Pin-mei）1950年7月15日—2000年3月12日（宗座署理）1901年8月2日生於上海市浦東唐墓橋，1930年晉鐸，1949年任天主教蘇州教區主教，1950年7月15日任天主教上海教區主教，兼南京總教區、蘇州教區宗座署理，1955年9月8日被捕，1979年6月被秘密冊封樞機，1988年離開中國大陸，1991年6月29日正式冊封為樞機，2000年3月12日在美國康涅狄格州史坦佛市去世
范忠良（聖名：若瑟 Iosephus Vei Zong Leong, S.J.）2000年3月12日—2014年3月16日（宗座署理）1918年12月18日生於上海市徐匯區，1951年晉鐸，1985年2月27日被任命為上海教區助理主教，2000年3月12日繼任上海教區主教，兼南京總教區、蘇州教區宗座署理，2014年3月16日在上海去世。
陸新平（聖名：方濟各 Archbishop Francisus Lu Xin-ping）2010年4月至今 2005年4月20日成為自選自聖主教，2008年獲宗座認可
