Музей этот находится в доме генерал-губернатора Потапова, который являлся главой Воронежа в период с 1775 по 1791 годы. Сам дом, скорее по своей архитектуре является дворцом, так его окрестили сами жители города, и это одно из самых красивых строение в городе Воронеж. Дворец был построен во 2-ой половине 18 столетия. С данным зданием в городе бытует две истории, которые рассказывают о его возникновении. Согласно одной истории, дом построили специально к посещению Воронежа великой Императрицей Екатериной Второй, когда та направлялась в Крым и должна была прибыть проездом в город. Согласно плана, Императрица должна была въехать в Воронеж и прибыть во дворец, чтобы передохнуть в тяжелом путешествии несколько дней. Согласно второй истории, дом возводили для крымского хана, который после крымской войны должен был быть сослан в Воронеж. Только вот ни у одной из этих историй нет реального подтверждения. Екатерина никогда не ездила через центральное Черноземье, а хан никогда не жил в этом дворце.
Доподлинно все знают лишь одно – это здание с очень красивой и примечательной архитектурой, было возведено в период с 1777 по 1779 годы. Проектировщиком дома являлся главный при Губернаторе области зодчий Н.Н. Невский. На пороге двадцатого столетия права на это здание, владение им и его имущество, были переданы в ведение городской администрации. И лишь в 1911 году в стенах здания был создан губернский музей. К тому сроку дворец был в более чем жалком виде, потому реставрация его производилась буквально с самого нуля. Когда грянула Первая Мировая война, музей переехал, а в дворце организовали санитарный пункт для раненных. Следом последовала Октябрьская революция, да и после нее в помещениях здания находились общественные организации и учреждения хозяйственного и административного назначения. Лишь в 1920 году в это здание был возвращен музей.
В 30 годы XX века перед музеем начали возводить здание Управления железными дорогами юго-восточного направления. Однако хуже было то, что согласно проекту дома Управления, на дворце нужно было убрать флигели с аркадой. Так уникальную часть дворца буквально уничтожили. Сегодня в музее имеется более 20 000 уникальных экспонатов, это и старинные иконы, и картины отечественных и зарубежных мастеров, и древнеегипетские собрания, и многое другое.