Budova Záložního úvěrového ústavu byla postavena na místě zbořených klasicistních Caivasových měšťanských domů. Úvěrový ústav byl později přeměněn na Českou průmyslovou a hospodářskou banku. Po znárodnění po 2. světové válce v budově sídlily různé kanceláře, v letech 1986-88 potom Muzeum revolučních tradic východních Čech. V roce 1990 se do budovy přestěhovala Galerie moderního umění, která do té doby sídlila v dnešním Biskupském paláci jako Krajská galerie.

Pětipatrová secesní budova je od bloku okolních domů oddělena z obou stran bočními ulicemi. Výrazným prvkem je podkrovní nástavba v pátém patře, jejíž střešní římsu podpírají sochy atlantů od sochaře Františka Fabiánka. Fasáda budovy je provedena v šedém odstínu, v prvním patře je typická pásová rustika. Hlavní portál na náměstí je vybaven schodištěm lemovaným po stranách bronzovými sochami od Ladislava Šalouna představující Obchod a Úrodu. Za hlavními dveřmi jsou umístěny ještě otáčecí dveře vedoucí do prostorného vestibulu s vitrážovým stropem, nad kterým je široký světlík. V interiéru se nachází ještě několik dalších světlíkových oken zdobených krásnými vitrážemi. Vlastní výstavní prostory jsou zařízeny prostě, aby nerušily výstavní expozice.

Galerie nabízí návštěvníkům k prohlídce rozsáhlou stálou expozici českého výtvarného umění od přelomu 19. a 20. století až do současnosti, která zastupuje všechny důležité umělecké směry a tendence. Dále pořádá výstavy, organizuje přednášky a další kulturní akce.