Na konci 19. století již neodpovídala kvalita ubytování v původní budově chlapeckého církevního konviktu Borromeum ve Špitálské ulici požadavkům na kvalitu ubytování studentů, a byla proto vystavěna budova nového Borromea na Orlickém nábřeží. V roce 1914 se do budovy přestěhovalo gymnázium, které do té doby sídlilo v jezuitské koleji, a působilo zde až do roku 1927, kdy byla postavena nová budova gymnázia na labském nábřeží. V budově Borromea se následně vystřídalo několik institucí, které měly neblahý vliv na stav budovy. Od roku 1992 Borromeum opět plní svoji důstojnou roli jako sídlo Biskupského gymnázia Bohuslava Balbína.

Základ stavby tvoří silná betonová deska zpevňující naplavené písčité podloží pozemku. Budova má půdorys písmena E a je tak osově symetrická. Dominuje jí střední rizalit s hlavním vchodem, nad kterým byla dříve umístěna socha sv. Karla Borromejského, patrona ústavu. Objekt sloužil nejen k výuce studentů, ale i k jejich ubytování a poskytoval také nezbytné technické zázemí (prádelny, vlastní pekárna apod.). V přízemí byla umístěna jídelna, tělocvična a hudební síň. První patro sloužilo primárně ke studiu, byla zde knihovna a studovny. V druhém patře bylo několik studentských pokojů a malá kaple s výraznými barevnými vitrážovými okny. Budova Borromea tvoří svojí délkou 87 metrů a výškou 16 metrů krásné panorama Orlického nábřeží.