De kerk werd ontworpen door François d'Aguilon en Pieter Huyssens, die zoals gebruikelijk bij jezuïetenkerken, allebei leden van de orde waren. De kerk werd tussen 1615 en 1621 gebouwd boven op de toenmalige Ankerrui (niet te verwarren met de huidige) voor die aansloot met de Minderbroedersrui.
Oorspronkelijk was de kerk gewijd aan Ignatius van Loyola, stichter van de jezuïetenorde. Na het opheffen van de orde in 1773 werd de kerk opnieuw gewijd, ditmaal aan Carolus Borromeus. Na enige tijd gebruikt te zijn voor godsdienstonderwijs is het gebouw sinds 1803 in gebruik als parochiekerk.
De kerk is een typisch product van de contrareformatie, waarin de katholieke Kerk probeerde met pracht en praal het volk weer aan zich te binden en waarin de jezuïeten een leidende rol speelden. De voorgevel is geïnspireerd op onder andere die van de Gesù-kerk in Rome, de moederkerk van de jezuïeten, en is acht meter hoger dan de kerk zelf. De kerk heeft een driebeukige, basilicale opzet. Boven de zijbeuken zijn galerijen aangebracht. Het koor wordt gemarkeerd door een toren.
Aan de decoratie van de kerk werden belangrijke bijdragen geleverd door Peter Paul Rubens, die zowel schilderijen als beeldhouwwerk verzorgde.
Bij de restauratie van de jaren 1980 werd de kerk opnieuw in barokke stijl ingericht. Het schilderij boven het hoofdaltaar wordt met een oud mechanisme driemaal per jaar gewisseld, op Aswoensdag, Paasmaandag en in augustus.
De kerk heeft een uitgang die uitkomt in de Antwerpse Ruien. Het doel van deze doorgang is tot op heden niet zeker.
Chronogram (1622) boven de poort: ChrIsto DeI VIrgInI DeI parae, beato IgnatIo LoIoLae, soCIetatIs aVI hore senatVs popVLVsqVe antVerpIensIs pVbLICo et prIVato aere ponere VoLVIt .
Anoniem, Opmeting van de benedenverdieping in de gevel van de Sint-Carolus Borromeuskerk te Antwerpen, Museum Plantin-Moretus (Bruikleen Erfgoedfonds)
Het schip is ruim en geeft een indruk van rust en welvaart. Het wordt geflankeerd door zijbeuken in basilicale stijl, waarvan de bovengalerijen onderstut worden door elegante zuilen (die vóór de brand van 1718 van marmer waren). Wijde vensters die uitgeven op deze bovenste gaanderijen laten overvloedig licht binnen in de kerk.
Het koor wordt over de hele breedte afgescheiden van het schip door een opmerkelijke houten communiebank uit de 18e eeuw, die versierd is met motieven die herinneren aan het eucharistische brood van de Heilige Communie. Aan beide zijden van de apsis bevinden zich de zijkapellen met zijaltaren. Het altaar aan de linkerkant is gewijd aan de "apostel van India", Sint-Franciscus Xaverius, dat aan de rechterkant aan de Maagd Maria.
Aan de wand hangt een reliekkastje met daarin de schedel van de Heilige Justus van Beauvais. Het reliek van de cephalophore kind-heilige uit circa 300 AD kwam rond 1460 naar Zutphen en werd in het Franciscaner observantenklooster Galilea bewaard. Tijdens de inname van de stad door de Geuzen in juni 1572 werd het klooster verwoest en werd het reliek ternauwernood gered. Het kwam via omzwervingen in Antwerpen terecht en is sinds eind achttiende eeuw in deze kerk aanwezig.
In de middelste apsis wordt het hoogaltaar bekroond door een schilderij. Er waren vier stukken voor dit doel, waaronder de Kruisoprichting van Gerard Seghers (1591-1651) en een Kroning van Maria van Cornelis Schut (1597-1655) - uit de Antwerpse School. Vroeger maakten de twee retabels De mirakelen van de H. Ignatius van Loyola en De mirakelen van de H. Franciscus Xaverius van Rubens mee de faam van dit altaar uit, maar nu pronkt het Kunsthistorisches Museum in Wenen met deze twee topstukken. Dankzij een vernuftig katrolsysteem (dat in verscheidene jezuïetenkerken te vinden is) kon men de vier altaarstukken afwisselend tonen, afhankelijk van de liturgische feesten. De twee overblijvende werken en de 19e-eeuwse Onze-Lieve-Vrouw van de Karmel door Gustaaf Wappers functioneren nog steeds volgens hetzelfde systeem. Driemaal per jaar, op Aswoensdag, Paasmaandag en in augustus, wordt gewisseld tijdens een druk bijgewoonde schilderijenwissel.
Boven het Sint-Jozefaltaar prijkte het werk De Terugkeer van de Heilige Familie uit Egypte van Rubens, geschilderd circa 1620 en geschonken door burgemeester Nikolaas Rockox aan de kerk. Na de bul van Paus Clemens XIV die in 1773 leidde tot de opheffing van de Jezuïetenorde belandde het werk op meerdere veilingen, een eerste op 20 mei 1777 in Antwerpen, later in 1829 in Brussel en in 1830 in Londen. In 1871 slaagt het toen opstartende Metropolitan Museum of Art in New York erin het stuk te verwerven. Het werk komt evenwel na een veiling in 1980 bij Christie's terug in privébezit. In 2011 kon de kerkfabriek van de Sint-Carolus Borromeuskerk, met financiële steun verworven door een legaat uit de erfenis van Johanna Damen, het werk op nog maar eens een veiling aankopen en liet het grondig restaureren. Sinds 23 juni 2017 hangt het vier eeuwen oude werk na een afwezigheid van 240 jaar terug op de oorspronkelijke plaats in de kerk.[1][2]
De muren van de zijbeuken zijn tot op vier meter hoogte gelambriseerd. Veertig ovale medaillons vertellen in evenveel scènes het leven van de twee stichters van de jezuïetenorde, aan de zuidzijde (rechts) de H. Ignatius en aan de noordzijde (links) de H. Franciscus Xaverius.
De biechtstoelen zijn versierd met levensgrote beelden van engelen en personages die thema's oproepen die verband houden met schuld, boete en vergiffenis: de vergeving van de zondaars, de barmhartige Samaritaan, de verloren zoon, de dood enz.
De preekstoel wordt ondersteund door een vrouwelijke verpersoonlijking van de Kerk die zegeviert over de ketterij. De wanden van de kuip en het klankbord zijn afgewerkt met twaalf scènes uit het leven van de Maagd Maria.
Twee grote zijkapellen, één aan elke zijde van de kerk, zijn respectievelijk gewijd aan de H. Ignatius van Loyola en de Maagd Maria. De kleinere kapellen zijn eveneens rijk aan kunstschatten uit de tijd van Rubens en diens samenwerking met de Antwerpse jezuïeten: het monogram IHS aan het plafond, de schilderingen van onder andere Daniel Seghers.
Op 18 juli1718 brak er brand uit in de kerk na een blikseminslag. Het interieur werd zwaar beschadigd. Er gingen onder andere 39 plafondschilderingen verloren die Rubens had gemaakt met hulp van Van Dyck. Ze zijn enkel bewaard in een reeks gravures van Jan Punt naar aquarellen van Jacob de Wit.[3] Na de brand kreeg de kerk een nieuw, soberder interieur, ontworpen door Jan Pieter van Baurscheit de Oude.
Op 30 augustus2009 werd de kerk wederom beschadigd door een brand. Rond 6.30u ging het rookalarm af, de brandweer was snel ter plaatse. Er werden twee brandhaarden gevonden, beide in de buurt van het altaar, één op de linkergalerij, één op de rechtergalerij. Het vuur was snel onder controle en de meeste kunstwerken werden niet rechtstreeks beschadigd door vlammen of bluswater.[4]
Herstelling naar ontwerp van F. Berckmans (1849-1864)
Herstelling naar ontwerp van Jules Bilmeyer (1912-1916) en (1917-1920). In de Collectie KMSKA - Vlaamse Gemeenschap is een bouwtekening aanwezig van de toren.
In het Rijksarchief Antwerpen-Beveren kan ongeveer 20 meter archief van de Sint-Carolus Borromeuskerk worden geraadpleegd. De meest opmerkelijke stukken zijn de plannen voor de bouw van de barokke kerk en een collectie tekeningen van meubilair en ornamenten.