Galerija atidaryta 1979 m. (architektai Liucija Gedgaudienė, Jonas Navakas). Ji buvo skirta vieno žymiausių kolekcininkų Mykolo Žilinsko Kauno miestui dovanotai kolekcijai. Tačiau netrukus paaiškėjus, kad visi kolekcijos eksponatai šiame pastate netilps pradėta projektuoti naujus rūmus.