Так и поступили городские власти Курска, выделив по обе стороны речки Кур территорию для двух кладбищ. Одно из них располагалось ближе к Херсонским воротам города, отсюда одно из его названий – Херсонское. Называлось оно также Богословским, по имени церкви, которая находилась ближе всего к нему. Но с 1916 года освящена была церковь Всех Святых, и с тех пор кладбище стало называться по имение её престола – Всесвятским. Кстати, с самого основания кладбища на нём была деревянная церковь, ассигнованная под кладбищенский храм во исполнение высочайшего указа, обязующего иметь при кладбище обязательно церковь. Церквушка эта была настолько старой и ветхой, что её здание следовало бы снести.
Покоится на этом кладбище прах известного русского поэта Ипполита Богдановича. Творчество Богдановича ценила императрица Екатерина, сейчас многим знакомо его стихотворение «Душенька». Курский губернатор Демидов поставил на могиле поэта памятник, изображающий Психею – олицетворение души. Позже скульптура перенесена была в городской парк, в советское время её планировали установить у входа в краеведческий музей. Но в процессе всех перестановок скульптура разбилась, постамент же вернули на могилу поэта в 50-х годах ХХ столетия.
По соседству со знаменитым поэтом захоронен Анатолий Георгиевич Уфимцев, изобретатель, оформивший 68 патентов на свои изобретения. Это он пытался взорвать Коренскую чудотворную икону в Знаменском соборе. Но не зря же икона была чудотворная – чудом она осталась целой. Зато изобретателя стали звать святотатцем и террористом.
Самое высокое надгробие на кладбище возвышается над могилой Анастасии Фёдоровны Свешниковой – купчихи, которая скончалась в 1844 году. Действительный статский советник Павел Аверин в 1813 году привел к присяге русскому царю польский Краков. Прах его покоится сегодня на этом месте захоронений.
Херсонское кладбище фактически не охраняется, никто никому не запрещает нищенствовать там или распивать спиртное. В XVIII веке такое поведение было строжайше запрещено, за нарушение очень просто можно было схлопотать длительный тюремный срок. Сейчас бомжи там и проживают, со всеми вытекающими отсюда последствиями – попойками и вандализмом. Кладбище постепенно приходит в запустение.