Сегодня данный сад носит название Первомайского, хотя раньше его называли просто городской сад. Городской сад был открыт в 1850 году. Тогда за ним ухаживали с особой заботой. Сюда приходили в одиночестве, но чаще влюбленными парочками, нередко и целыми семьями. В саду можно было интересно провести свои выходные и просто досуг во все времена года, в каждом сезоне было здесь свое преимущество. Отдыхать приходили как взрослые, так и молодежь.
А главной гордостью этого сада являлся каток, открываемый каждую зиму. Лед заливался рядом с центральным входом вручную, с помощью больших бочек. Служители парка старались поддерживать беговые дорожки в самом лучшем состоянии. Во время организации спортивных состязаний конькобежцев, а проходили эти соревнования практическую каждую неделю, сад заполнялся любопытными, болельщиками и зеваками. На спортсменов даже заключались шуточные пари.
В городском парке был свой летний театр, где на небольшой сцене не брезговали принимать участие в постановках и весьма именитые гастролеры. Стены этого небольшого зданьица слышали немало известных трагиков и комиков. Но сенью 1929 года театр дотла сгорел, вместе с ним сгорели все декорации и реквизит. Все же сад не так долго стоял без своего театра. В сталинские времена был совсем иной размахов. Так появилось новое театральное здание, которое опиралось на надежные стальные конструкции, оно было словно бы монументом, здесь была парадная лестница, девять входных дверей и флагшток на крыше.
В время Второй мировой войны сад очень сильно пострадал от многочисленных бомбежек, все летние сооружение в нем были разрушены либо сгорели, даже забор из ажурной кирпичной кладки был весь в брешах. Забор в итоге завалили до конца, вместо него поставив высокую металлическую ограду с красивой символикой. После войны в самом центре сада возвели дощатый цирк-шапито, с брезентовым шатром вместо крыши, в нем начал свою карьеру известный всему миру клоун Олег Попов.