Самым старым зданием на Дворцовой улице является Воронцовский дворец, возведённый по проекту архитектора Джованни Скалоне (ок. 1800 — ок. 1860).
Во время его строительства на месте будущей улицы ещё не существовало чёткой городской планировки — здесь тянулись извилистые улочки, располагались частные усадьбы и служебные постройки дворца.
Формирование уличной линии началось лишь в 1860-е годы.
Именно тогда была выровнена трасса будущей Дворцовой улицы и появились первые каменные дома, принадлежавшие купеческим и чиновничьим семьям.
Активное капитальное строительство развернулось примерно десятилетие спустя — вдоль улицы стали возводить более крупные трёх- и четырёхэтажные дома с оштукатуренными фасадами, а на первых этажах этих домов начали открываться магазины.
В конце 1880-х годов Дворцовая улица вошла в городской транспортный маршрут — по ней проложили линию конной железной дороги.
В начале XX века здесь появилось электрическое освещение, а конку вскоре заменил трамвай, окончательно закрепивший статус улицы как одной из самых оживлённых артерий города.