In großen Teilen erhalten ist der mittelalterliche Friedhof »Judensand« an der Mombacher Straße. Der Alte jüdischer Friedhof Mainz ist die älteste bekannte Begräbnisstätte der Jüdischen Gemeinde in Magenza (ab ca. 1012). Neben dem »Heiligen Sand« in Worms gilt er als ältester jüdischer Friedhof Europas.
Vertreibungen der Juden führten immer wieder zu Räumungen und Umgestaltungen des »Ewigen Ortes« und damit zu gravierenden Verlusten an Grabsteinen. Die abgeräumten Steinen wurden von Stadt und Bürgern verbaut. Seit den 1820ern kamen bei erneuten Bauarbeiten in Mainz bedeutende Grabsteine ans Tageslicht. Diese Grab- und Memorsteine wurden 1926 von den Mainzer Rabbinern Levi und Salfeld zu einem Denkmalfriedhof vereint, um das Erbe weithin sichtbar zu machen und die eigene Verortung in Magenza bzw. Deutschland zu unterstreichen.
Im 17. Jahrhundert konstituierte sich langsam wieder eine jüdische Gemeinde in Mainz. Ab 1700 wurde der verbliebene Teil des Judensandes wieder belegt. Es handelt sich um das heute an der Mombacher Straße gelegene, untere Gräberfeld. Dieser Bereich wurde bis 1888 belegt. 1862 erwarb die Jüdische Gemeinde ein Grundstück zurück, das sich ebenfalls auf dem ursprünglichen mittelalterlichen Gelände befand und zukünftig als Erweiterungsfläche für das bereits stark belegte Gräberfeld dienen sollte. Dazu kam es jedoch nicht, da Ende des 19. Jahrhunderts ein neuer jüdischer Friedhof auf dem Zentralfriedhof an der Unteren Zahlbacher Straße eingerichtet wurde.
Der Denkmalfriedhof dokumentiert, wie zentral und wichtig Magenza war und ist; ein solcher Denkmalfriedhof ist einzigartig in der jüdischen Welt.
