Датой основания Старого христианского, или как оно ещё называется, Первого городского кладбища называют 1788 год. Въезд на него был с улицы Крылова, которая тогда называлась Кладбищенской. Ограничивали его улицы Севастопольская и Караимская. Они, в отличие от кладбища, сохранились до наших дней и носят прежние названия. В 1824 году на кладбище построили кладбищенскую церковь. В 60-х годах она была увеличена и получила статус приходской. Хотя ранее была известна как «Старо-кладбищенская».
Древнейшим местом, где начинали хоронить покойников-христиан, считалась возвышенность посередине некрополя. Впоследствии кладбище стало интернациональным, общехристианским и не имело никаких разграничений по участкам. По всей территории можно было встретить могилы не только православных, но и католиков, и лютеран. Хоронили здесь умерших, не спрашивая об их сословии и вероисповедании. Об этом свидетельствовало разнообразие надгробных памятников, как писали историки того времени.
Город, насчитывавший в самом начале своей истории всего пару десятков домов, разрастался, кладбище тоже, и к 1860 году оно оказалось в городской черте. Теперь на нём разрешались только подзахоронения в фамильные склепы.
После Октябрьской революции начался настоящий упадок кладбища. Могилы стали разрушать целенаправленно, ограды и кресты воровали и сдавали на переплавку. В 1934 году дошли до того, что перерыли всё кладбище в поисках золота. Оставшееся безобразие нужно было как-то прикрыть, потому что везде валялись кости и черепа. Кладбище поэтому сровняли с землёй, что возможно, утилизировали, надгробные плиты использовали в строительстве. Причём делалось это совершенно официально, из могильных плит сооружена была общественная баня. Встречаются они и в других постройках того времени.
В 1937 году на месте скифского кургана, что в центре кладбища, построили Симферопольскую школу №14. Через два года командный состав КА получил на территории кладбища дом из могильных плит.