Идея создания Кавказского военно-исторического музея принадлежала генералу Дондукову-Корсакову, командующему Кавказским военным округом (1820-1893).
Музей был основан в 1888 году — на его строительство государственная казна выделила 80,000 рублей серебром.
Здание строилось по проекту Альберта Федоровича Зальцмана — русского архитектора немецкого происхождения (1833-1897).
Здание располагалось на Головинском проспекте (ныне прспект Руставели).
Открытие музея состоялось 11 февраля 1907 года.
Музей был посвящен преимущественно событиям Кавказской войны (1817-1864).
Эксозиция была размещена в трех залах.
В первом зале было представлено оружие разных периодов (главным образом кавказское, турецкое и персидское).
Второй зал был посвящен трофейному артиллерийскому оружию и доспехам.
Наконец, в третьем зале были представлены боевые знамена и батальная живопись, например — панорама Франца Рубо (1856-1928) «Штурм аула Ахульго», а также картины Ивана Константиновича Айвазовского (1817-1900).
Музей работал до начала Первой мировой войны.
В 1914-1915 годах большинство коллекции (более тысячи экспонатов) были вывезены в Ставрополь.
В 1918 году, вывезенное имущество музея было национализированно и передано Ставропольскому краеведческому музею.
С 1920 года в здании музея располагается Национальная картинная галлерея Грузии.