Po hčerkah Heinricha Himmlerja in Hermanna Göringa sta pri vprašanju, kakšen odnos so imeli otroci nacističnih zločincev do svojih očetov, na vrsti najstarejša od šestih otrok Alberta Speera (1905–1981). A pri glavnem arhitektu in urbanistu nacističnega režima, med vojno pa tri leta Hitlerjevem ministru za oboroževanje je odgovor na omenjeno vprašanje bolj zapleten kot pri Himmlerju in Göringu. Zahodnonemška javnost je bila namreč dolgo prepričana, da Speer ni bil zločinec, a to nikakor ne ustreza zgodovinski resnici.
Še leta 1975 je voditelj opozicijskih krščanskih demokratov Helmut Kohl (zvezni kancler v letih 1982–1998) čestital Speeru za 70. rojstni dan. Ugledni socialdemokratski politik Willy Brandt (zvezni kancler v letih 1969–1974) pa je temu nacističnemu ministru leta 1966, ko je po več kot 20 letih prišel iz zavezniškega zapora, poslal šopek rož.
Čeprav je bil Speer velik Hitlerjev prijatelj in njegov tesen sodelavec, je po drugi svetovni vojni postal priljubljen pri številnih Zahodnih Nemcih. Po televiziji in v svojih knjigah, ki jih je pisal tudi v zaporu in so vrsto let veljale za najbolj prodajane v Zahodni Nemčiji, jih je prepričal, da je bil pod Hitlerjem le apolitični tehnokrat, ki ni sodeloval pri holokavstu in o njem celo ni nič vedel. V bistvu je Zahodnim Nemcem omogočil, da so se z njim identificirali in razbremenili kolektivne krivde za največji zločin v zgodovini: če že neki Hitlerjev minister ni vedel za holokavst, kako naj bi to vedel običajen človek, krivdo za vse so Nemci pripisali Hitlerju.
Speeru so vedno znova telefonirali zgodovinarji in novinarji, da bi ga prosili za kakšno informacijo. Vendar v zadnjih letih nemški zgodovinarji opozarjajo, da je Speer lagal, ko je trdil, da ni sodeloval pri nacističnih grozodejstvih in da ni vedel za holokavst. Med drugim je spodbudil izgon 75.000 Judov z njihovih domov v Berlinu, da bi lahko uresničil svoje urbanistične načrte. Kot minister za oboroževanje pa je uporabljal suženjsko delovno silo in nadziral delovanje koncentracijskih taborišč.
Glede odnosa med njim in njegovimi šestimi otroki je treba reči, da od leta 1933, ko je postajal vse pomembnejši del nacističnega režima, Speer ni imel veliko časa za svojo družino. Celo po letu 1966, ko je prišel iz zapora, ni hotel ohranjati stikov s svojimi otroki.
Zlasti pri najstarejšem sinu Albertu (1934–2017), sicer izjemno uspešnem arhitektu in urbanistu, je očitno, da drugače kot Gudrun Himmler in Edda Göring ni poskušal rehabilitirati svojega očeta. Morda tudi zato ne, ker se je sam oče oddaljil od njega in drugih svojih otrok.
Sin Albert je leta 1999, ko so nekateri Nemci še imeli dobro mnenje o Hitlerjevem arhitektu in na koncu ministru za oboroževanje, v pogovoru za tednik Der Spiegel priznal, da je bil njegov oče zločinec. Poudaril je, da hoče svoje celotno življenje ločiti od očetovega. Njegova odločitev, da postane arhitekt, pa ni bila, vsaj tako je trdil sam, v nikakršni zvezi z očetovim poklicem.
Sicer je imel Albert Speer mlajši za svoje glavno področje urbanistično načrtovanje in ne toliko arhitekturo. Med drugim je leta 1964 zmagal na mednarodnem natečaju za umestitev železniške postaje v mestu Ludwigshafen na Renu. Štiri leta pozneje – leto pred tem, ko je Moamer Gadafi prevzel oblast – je dobil velika naročila za urbanistično načrtovanje mest v Libiji. V naslednjih letih je postal vodilni urbanist v Nemčiji in ugleden univerzitetni profesor s tega področja. Delal pa je tudi v Savdski Arabiji.
Še bolj se je od medvojnega ministra za oboroževanje Speera distancirala njegova hči Hilda Schramm, rojena leta 1936, saj je bila aktivna političarka levega krila Zelenih, tudi voditeljica strankine berlinske organizacije. Predvsem kot poslanka mestne skupščine Zahodnega Berlina v 80. letih in na koncu tudi kot podpredsednica se je zavzemala za boljše življenje žrtev, ki so preživele nacistične zločine. Ustanovila je tudi sklad za spodbujanje judovskih umetnic, ki živijo v Nemčiji. Že v 60. letih pa se je uveljavila kot strokovnjakinja na področju didaktike.
