Przy ulicy Sumskiej, powstałej w XVII w., która swój historyczny kształt zachowała do dzisiaj, znajdują się najciekawsze zabytki miasta. Zachodnią stronę ulicy otwiera masywny budynek dawnego Banku Rosyjsko-Azjatyckiego pochodzący z 1910 r. Na rogu ulicy znajduje się z kolei trzypiętrowy budynek wzniesiony w XIX w., wykończony w stylu renesansu francuskiego z XVI-XVII w. Warto również zwrócić uwagę na zabytkowy budynek Banku Państwowego wzniesiony w latach 1897-1900 w stylu renesansu florenckiego, były dom mieszkalny i teatr „Empire” z 1907 r. oraz liczne XIX-wieczne kamieniczki.