1988 schlug die Journalistin Lea Rosh vor, dass ein Mahnmal für die in Europa ermordeten Juden errichtet werden solle, und zwar auf dem früheren Gestapo-Gelände im Berliner Stadtteil Kreuzberg. Zusammen mit dem Historiker Eberhard Jäckel gründete sie eine Bürgerinitiative für den Bau eines „Mahnmals als ein weithin sichtbares Zeichen für die Geschehnisse der Vergangenheit.“ Diese Idee wurde von der Öffentlichkeit mit breiter Zustimmung aufgenommen, nicht zuletzt auch von Prominenten wie Willy Brandt und Günter Grass. Nach dem Fall der Berliner Mauer und der Entfernung des Grenzüberganges zwischen Ost- und Westberlin in den Jahren 1989/90 änderte sich die Berliner Stadtlandschaft ganz erheblich. Als Antwort darauf brachte der „Verein für den Bau eines Mahnmales für die in Europa ermordeten Juden“ (jene Gruppe, die aus der einstigen Bürgerinitiative hervor gegangen war) den Vorschlag ein, dass das Mahnmal direkt im Herzen von Berlin errichtet werden sollte – neben dem Brandenburger Tor, auf dem Grundstück der ehemaligen Ministerialgärten. Im April 1992 drückte Bundeskanzler Helmut Kohl seine Unterstützung für das Vorhaben aus, und erklärte öffentlich, dass die Regierung bereit sei einen Teil der Fläche für die Mahnmalstätte zur Verfügung zu stellen. Es wurden zwei Architekturausschreibungen für das Design des Mahnmals Mitte der 90er Jahre abgehalten, und am 25. Juni 1999 beschloss der Deutsche Bundestag nach einer langen Debatte, dass das Mahnmal entsprechend den Plänen des amerikanischen Architekten Peter Eisenmans gebaut werden solle. Der Bundestag entschied ebenfalls, dass ein unterirdisches Besucherinformationszentrum errichtet werden sollte, wobei dies dazu gedacht war, das Museum um einen wichtigen Teil zu erweitern und zu unterstützen, als einen Ort, an dem die Besucher ganz konkrete Fakten über die an der Oberfläche betrauerten Opfer erfahren könnten. Die Bauarbeiten am Projekt begannen im April 2003 und endeten am 15. Dezember 2004. Das Mahnmal für die in Europa ermordeten Juden wurde am 10. Mai 2005 offiziell eingeweiht und eröffnet, beinahe genau 60 Jahre nach dem Ende des Krieges in Europa.

Das Mahnmal nimmt eine Fläche von ungefähr 19.000 Quadratmetern ein, und besteht aus 2.700 Betonpfeilern (oder Säulen) von unterschiedlicher Höhe und Gestalt. Die dunkelgrauen Pfeiler sind auf einem schachbrettartigen Netzmuster angelegt und werden durch unebene Kopfsteinpflasterpfade voneinander getrennt, wobei auch der Boden unter ihnen leichte Unebenheiten aufweist. Zugänglich ist das Mahnmal von allen Seiten, und keinerlei klare Trennlinie grenzt die Stätte vom Rest der Stadt ab. Wie der Architekturkritiker Nicolai Ourousoff bemerkte, so kann „die schachbrettartige Struktur der Gedenkstelle als eine Weiterführung der Straßen der Stadt gelesen werden, die die Stätte umgeben, sowie auch als eine aufwühlende Evozierung der strikten Disziplin und der bürokratischen Ordnung, die die Tötungsmaschinerie immer weiter in Gang hielt.“ Wie andere Kritiker auch versteht er die Pfeiler als einen Verweis auf Grabsteine. Das Mahnmal, welches keinerlei Plaketten, Inschriften oder sonstige Symbole aufweist, wurde von manchen gar als zu abstrakt kritisiert. Wiederum andere loben es vor allem für seine komplexe, zum Nachdenken anregende, und nicht zuletzt auch beunruhigende Mehrdeutigkeit.