Парк Муштаид был разбит в период между 1830 и 1840 годом.
Его основатель, Мир Фатах-Ага был вынужден бежать из Ирана и просить убежища в России.
Власти выдали ему в собственность участок земли в конце Михайловской улицы.
Название свое парк получил из-за духовного cана Фатах-Аги (муджтахид — мусульманский богослов).
Парк быстро стал очень популярным, в нем один за другим стали открываться новые рестораны, и бытует мнение, что именно здесь (а не в Верейских и не в Ортачальских садах) произошла встреча художника Пиросмани (1862-1918) и актрисы Маргариты де Севр (1885-1968), которая послужила основой для песни «Миллион алых роз» Аллы Пугачёвой.
В 1887 году на территории парка под руководством Николая Николаевича Шаврова (1858–1915) была основана Кавказская станция по разведению шелкопрядов.
Главное здание станции было построено в 1892 году по проекту Александра Шимкевича (1858 — ок. 1907).
В советское время парк был превращен «Парк культуры и отдыха имени Орджоникидзе».
В 1935 году здесь была построена первая советская узкоколейная детская железная дорога длиной в 1,200 метров.