第一次鸦片战争之后，清政府和法国于道光二十四年（1844年）签订中法黄埔条约，宣布重新允许天主教在中国传教，发还教产。1856年1月21日，教廷将南京教区改为江南代牧区（Apostolic Vicariate of Kiangnan），辖江苏、安徽两省，主教驻上海，委托耶稣会管理。南京成为江南代牧区之下的一个总铎区。
1921年8月8日，江苏省和安徽省分别成立江苏代牧区（Apostolic Vicariate of Kiangsu）和安徽代牧区，主教座堂分别位于上海和芜湖。1922年5月1日，江苏代牧区又改名为南京代牧区（Apostolic Vicariate of Nanking）。南京代牧区的主教有姚宗李（1922年—1931年）和惠济良（1931年－1933年）。
罗伯济（罗类斯，Bishop Lodovico Maria Besi） 1840年1月10日-1848年7月9日（宗座署理）山东代牧区宗座代牧。1805年10月16日生于意大利维罗纳，意大利圣家书院修士，1829年晋铎，1839年被任命为山东代牧区首任代牧，兼任南京教区宗座署理，1847年返回欧洲，1848年7月9日辞职，1850年被任命为圣座驻阿根廷大使，1871年9月8日去世，驻浦东金家巷和网尖
赵方济（Bishop Francesco Xavier Maresca, O.F.M.）1848年7月9日-1855年11月2日 1805年生于意大利那不勒斯，那不勒斯圣家书院，1847年1月12日被任命为南京教区助理主教，1855年4月回国休养，11月2日在那不勒斯圣家书院去世，驻上海
徐类思（徐伯达，Bishop Luigi Celestino Spelta, O.F.M.） 1855年11月2日—1856年4月8日 1818年4月9日生于意大利皮埃蒙特，方济各会，1848年9月7日被任命为南京教区助理主教，1856年4月8日调任湖北代牧区主教，1862年去世，驻上海
惠济良（Bishop Auguste Alphonse Pierre Haouisée, S.J.） 1931年5月13日－1933年12月13日 1877年10月1日生于法国北部滨海省，1910年晋铎，1928年6月25日任南京代牧区助理代牧，1931年5月13日继任南京宗座代牧，驻上海。1933年12月13日任上海代牧区宗座代牧，1946年4月11日任上海主教，1948年9月10日去世
于斌（圣名：保禄 Bishop Paul Yü Pin）1936年7月7日—1946年4月11日 1901年4月13日生于中国黑龙江省兰西县，1928年晋铎，1936年7月7日任南京代牧区宗座代牧，1946年4月11日任南京总主教
南京总教区总主教
于斌（圣名：保禄 Bishop Paul Yü Pin）1946年4月11日—1978年8月16日 1949年至台湾，1969年4月28日升任枢机，1978年8月16日逝世于梵蒂冈
龚品梅（圣名：依纳爵 Cardinal Ignatius Kung Pin-mei）1950年7月15日—2000年3月12日（宗座署理）1901年8月2日生于上海市浦东唐墓桥，1930年晋铎，1949年任天主教苏州教区主教，1950年7月15日任天主教上海教区主教，兼南京总教区、苏州教区宗座署理，1955年9月8日被捕，1979年6月被秘密册封枢机，1988年离开中国大陆，1991年6月29日正式册封为枢机，2000年3月12日在美国康涅狄格州史坦佛市去世
范忠良（圣名：若瑟 Iosephus Vei Zong Leong, S.J.）2000年3月12日—2014年3月16日（宗座署理）1918年12月18日生于上海市徐汇区，1951年晋铎，1985年2月27日被任命为上海教区助理主教，2000年3月12日继任上海教区主教，兼南京总教区、苏州教区宗座署理，2014年3月16日在上海去世。
陆新平（圣名：方济各 Archbishop Francisus Lu Xin-ping）2010年4月至今 2005年4月20日成为自选自圣主教，2008年获宗座认可
