Vanhan kirjastotalon ensimmäisiin omistajiin kuului Kajaanin ensimmäinen piirilääkäri Samuel Roos, joka muutti Kajaaniin Tukholmasta. Sittemmin talon on omistanut muun muassa kartano Karolineburgin rakennuttanut, Kajaanin tuomiokunnan tuomari Fredrik Calamnius. Nykyiseen muotoonsa talon remontoi vuonna 1852 silloinen kihlakunnantuomari.

Vuonna 1872 talo siirtyi Kajaanin kaupungin omistukseen. Kajaaniin kaupunki halusi perustaa kansakoulun, joka olisi Kainuun ensimmäinen ja ensimmäisiä koko Pohjois-Suomessa. Kansakoulu aloitti toiminnan tässä talossa syksyllä 1873.

Kansakouluna rakennus toimi vuoteen 1878 asti, minkä jälkeen tiloihin avattiin Kajaanin kaupungin ensimmäinen kirjasto. Kirjastotoiminnan loputtua vuonna 1886, tiloihin perustettiin yleinen sairaala. Sairaalassa tehtiin esimerkiksi erilaisia operaatioita, kuten silmä- ja syöpäleikkauksia jo 1800-luvun loppupuolella.

Kansakoulun jälkeen talossa on toiminut vielä Kajaanin sähkölaitos, ja sen jälkeen Kajaanin synnytyslaitos. Moni kajaanilainen on siis syntynyt tässä talossa.

Vuodesta 1939 lähtien tiloissa toimi Kajaanin kaupungin kirjasto siihen saakka, kunnes uusi kirjasto valmistui Kruununpuodinmäelle vuonna 1985. Myös Kajaanin kuvataidekoulu on pitänyt majaansa Brahenkadun rakennuksessa ja viimeisimpänä Kainuun Pirtti -käsityöasema.

Talo oli useamman vuoden tyhjillään, kunnes R-Collection vaateyrityksen perustajat Marjo ja Pekka Saastamoinen yhdessä poikansa Olli Saastamoisen ja tämän vaimon Lilli Norion kanssa hankkivat rakennuksen vuonna 2013. Talo peruskorjattiin perusteellisesti perinteitä kunnioittaen ja sisäpihalle tehtiin kaunis terassi pihabaarirakennuksineen.

Vuodesta 2018 talossa toimi Ravintola Anorak, jonka jälkeen pandemian keskellä operoi ravintola Gastrobar 3.

Vuonna 2022 tilat jatkavat toimintaansa juhla- ja kokoustilana, sekä ajoittain ravintolana.