Doch dies sollte nur der Anfang sein. Aus Berlin planten Hitler und Speer "Germania" zu machen, die "Welthauptstadt" mit dem größten Gebäude der Erde, der "Großen Halle" für 180.000 Volksgenossen, und einem Palast für den "Führer", wo der Besucher – laut Hitler – das Gefühl haben sollte, vor den "Herrn der Welt" zu treten. Berlin galt zugleich als Modell für die geplante Zerstörung der deutschen Großstädte, die durch Monumentalbauten und Aufmarschstraßen ein neues Gesicht erhalten sollten. Ein Millionenheer von Arbeitssklaven aus dem Osten war schon jetzt dazu verdammt, nach dem "Endsieg" diese monströsen Visionen Wirklichkeit werden zu lassen.

In Berlin, wo sich der ehrgeizige Speer 1937 sofort an die Arbeit gemacht hatte, gab es bald gravierende Hindernisse: Zum einen benötigte man gigantische Mengen an Baumaterial, vor allem an Granit und an Backsteinen. Zum anderen riesige Flächen, die nur durch Abriss ganzer Stadtviertel zu gewinnen waren. Mit dem Reichsführer-SS Heinrich Himmler vereinbarte Speer deshalb 1938, dass die Konzentrationslager die Steine für die Großbauten liefern sollten.

Die SS gründete ein eigenes Unternehmen, die Deutsche Erd- und Stein-Werke GmbH, dem Speer aus dem Etat seiner eigenen Behörde das Kapital zur Verfügung stellte. Zurückzahlen sollte Himmlers Totenkopftruppe die zinslosen Kredite (die direkt in den Ausbau des KZ-Systems einflossen) in Steinen. Deshalb errichtete die SS die meisten Lager zwischen 1937 und 1942 in der Nähe von Granitsteinbrüchen – zum Beispiel Flossenbürg, Mauthausen – und von Tonvorkommen für Ziegeleien, wie Oranienburg, Neuengamme bei Hamburg und Stutthof bei Danzig. Für zwei Lager, Groß-Rosen in Schlesien und Natzweiler-Struthof im Elsass, hatte Speer 1940 wegen der dortigen Granitvorkommen persönlich den Standort ausgesucht.

In den Steinbrüchen starben die Häftlingen zu Tausenden. "Vernichtung durch Arbeit" war Funktionsprinzip der Konzentrationslager – bis 1945. Speer war dies bekannt, denn er hatte sich als Kreditgeber schließlich das Recht vorbehalten, der SS in die Bücher zu schauen.

Um das "Raumproblem" in Berlin-Mitte zu lösen, wo über 50.000 Wohnungen, in denen fast 200.000 Berliner wohnten, abgerissen werden sollten, begann der brutale Baumeister, eine eigene Judenpolitik zu betreiben. Durch die Forschungsarbeit der Berliner Historikerin Susanne Willems wissen wir, dass Speer im September 1938 der Stadtverwaltung vorschlug, zunächst 2.500 Wohnungen von Juden zwangszuräumen und die Menschen in ein Ghetto, ein Barackenlager außerhalb von Berlin, einzupferchen.

Die Reichskristallnacht am 9./10. November 1938 kam Speer äußerst gelegen, da er mit der darauf folgenden Beseitigung des Mieterschutzes für Juden sein Vorhaben umsetzen konnte. Dies war der Grund, warum Speer das Pogrom in seinen Erinnerungen zunächst nicht erwähnt hatte und erst auf das Insistieren seiner Helfer Fest und Siedler hin dazu einige nichts sagende Worte verlor.

Seit Frühjahr 1939 wurden Tausende Berliner Juden von der "Hauptabteilung Umsiedlung beim Generalbauinspekteur Speer" aus ihren Wohnungen vertrieben, in die dann "arische Berliner" aus den zum Abriss bestimmten Häusern einzogen. Als zwischen Oktober 1941 und März 1943 50.000 Berliner Juden nach Osten in den Tod deportiert wurden, stellten Speers Mitarbeiter gemeinsam mit der Gestapo die Deportationslisten zusammen. Speer selbst hat dies noch kurz vor seinem Tod 1981 vehement bestritten, doch überführen ihn die Akten der Lüge. So schrieb er etwa am 13. Dezember 1941 an Reichsleiter Martin Bormann, dass die "Aktion in vollem Gange" sei, und beschwerte sich, dass Bormann frei werdende "Judenwohnungen" ausgebombten Berlinern zur Verfügung stellen wolle. Speer beharrte darauf, dass die "Judenwohnungen" ihm gehörten.