Из истории известно, что перед этим в селении, где они жили раньше – Аба-Сово – был погром. Спасавшиеся бегством переселенцы вынужденно остановились в пределах Дербента. Чтобы хоронить умерших, им приходилось первое время ездить на кладбище в Аба-Сово. Позже им выделили для этих целей небольшую территорию за городом. Со временем она увеличивалась, теперь это обширное кладбище, с тысячами захоронений. Но дату первого захоронения назвать всё-таки весьма затруднительно.
Администрацией кладбища ведутся работы по восстановлению имён захороненных здесь. Все их восстановить не получилось, но Управление внешних связей издало книгу, в которой записаны многие имена. Это сделано во многом благодаря стараниям Сави Пейсаховича Ханукаева, руководителя работ. Наталия Васильевна Кашовская из Санкт-Петербургского Музея истории религии работала много лет, изучая иудейское кладбище Дербента. Ведущему научному сотруднику удалось расшифровать старинные надписи, сделанные на иврите, которые до этого не мог прочитать никто. Чтобы облегчить поиск могил, кладбище условно разбито на сектора. Недавно исследователи сделали его план с учётом последних данных.
Осенние наводнения 2009 и 2012 годов принесли разрушения городу в целом, пострадало множество объектов. Не обошла стихия и кладбища, они тоже понесли урон от селевых потоков, иудейское не стало исключением. Десятки могил разрушены полностью, очень многие пострадали в той или иной степени. Кроме этого, существует ещё много проблем. Одна из них – сорняки, с которыми приходится бороться непрерывно. Причём борьба чаще бывает безуспешной, хотя и применяются различные новейшие средства, химические в том числе. Между могилами отсутствует пространство для прохода, а наличие металлических оград вокруг них делает проход и вовсе опасным. Можно порвать одежду об их острые штыри, и травму получить. Рушатся и приходят в негодность памятники.
Проблемы кладбищ не должны оставлять равнодушным никого. Многое делается и для благоустройства иудейского кладбища Дербента. Сюда провели воду, выложили плитами основные проходы. Раздаются призывы ко всем, чьи родственники похоронены здесь, участвовать постоянно в благоустройстве не только самого кладбища, но и территории вокруг него.