У Шпеера возникали перепалки с Гитлером и по поводу восстановления военных заводов, разрушенных бомбардировками. Хотя немцы, как правило, сравнительно быстро восстанавливали разрушенные помещения, и производство возобновлялось, Гитлер требовал, чтобы оно было переведено в подземные бункеры. Шпеер говорил, что ни цемента, ни времени не хватит для сооружения таких подземных цехов. Он настаивал на том, чтобы строили больше истребителей для отражения налетов на германские города. Шпеер требовал, чтобы новые реактивные двигатели ставили на истребители, а не на бомбардировщики дальнего радиуса действия, как хотел Гитлер. «Цемент не защитит заводы, – утверждал министр. Гитлер был недоволен позицией министра и поручил строительство подземных заводов заместителю Шпеера Ксавиеру Доршу, который до этого занимался строительством на оккупированных территориях.

После ослабления позиций Шпеера, среди его подчиненных возникла интрига, направленная против него. Во главе интриганов стоял К. Дорш, тайный сотрудник гестапо и человек, связанный с Борманом. Однако попытки Шпеера добиться от Гитлера устранения из своего аппарата Дорша и его сторонников успеха не имели. На письма Шпеера Гитлер не отвечал.

Тем временем, Шпеер простудился во время командировки на никелевые предприятия в Петсамо (Печенга). Шпеер был направлен в госпиталь Красного Креста «Хохенлихен» на лечение под руководством доктора Гебхардта. Шпеер вспоминал: «Не зная этого, я отдал себя в руки врача, который был одним из ближайших друзей Генриха Гиммлера». Не сразу узнал Шпеер и того, что Гиммлер в это время стремился сотрудничать с Борманом.

Не сразу понял Шпеер и то, что к началу 1944 года его положение изменилось: «Я уже не был любимым министром Гитлера и одним из его возможных преемников. Несколько слов, которые нашептал Гитлеру Борман, и несколько недель болезни вывели меня из обращения».

А вскоре Шпееру сообщили, будто Гебхардт сказал, что, по мнению Гиммлера, министр вооружений стал опасен и его надо устранить. Затем жена Шпеера узнала, что Гитлер, ссылаясь на мнение Гебхардта, сказал, что министр вооружений в безнадежном состоянии и вряд ли поправится.

Однако Гитлер вернул благоволение к Шпееру. Последний же смирился с особым положением Дорша. Даже публикация в английской газете «Обсервер» от 9 апреля 1944 г., в которой заслуги Шпеера всячески превозносили, не была использована против него. Шпеер поспешил сам представить Гитлеру перевод статьи, в которой говорилось: «Шпеер является сейчас для Германии более важной фигурой, чем Гитлер, Гиммлер, Геринг, Геббельс и генералы. По сути, они лишь являются вспомогательными личностями для человека, который руководит гигантской машиной власти… Он олицетворяет успех «революции менеджеров». По словам Шпеера, ознакомившись со статьей, Гитлер «вернул ее мне без слов, но с выражением большого уважения».

Положение Шпеера вновь пошатнулось на первых порах после заговора 20 июля 1944 года. Хотя Шпеер не был участником заговора и даже оказался в министерстве пропаганды Геббельса в тот момент, когда войска, верные заговорщикам, окружили это здание, у него были тесные деловые контакты с Фроммом и другими заговорщиками. А вскоре в гестапо попал перечень членов будущего правительства, которое заговорщики намеревались создать после переворота. Шпеер должен был сохранить в нем свой пост.

Правда, на счастье Шпеера, против его фамилии стоял знак вопроса, и было сделано примечание о том, что с ним не беседовали на темы переворота и включении в новое правительство. К тому же к июлю 1944 г. военное производство Германии достигло наивысшей точки подъема. Правда, этот рост не отразился на увеличении военной мощи Германии. В своем выступлении на совещании гауляйтеров в Познани Шпеер говорил о том, что рост производства вооружений привел лишь к разбуханию складов в воинских частях. Услыхав это, Геббельс, участвовавший в совещании, выкрикнул с места: «Саботаж, саботаж!».

Положение Шпеера ненадолго укрепилось. По этой причине Шпеер постарался высвободить из застенков гестапо целый ряд лиц, с которыми он поддерживал хорошие отношения, в частности, генерала Шпейделя. Шпеер предотвратил аресты генералов Цейтцлера и Хейнрици, графа Шверина. Особо старался Шпеер остановить репрессии среди высших деятелей деловых кругов. Шпееру удалось уговорить шефа гестапо Кальтенбруннера не арестовывать руководителя сталелитейного концерна Фёглера, директора «АЭГ» Бюхнера, директора горного комбината «Гутенхофнуншютте» Рёша, а также промышленников Мейера, Стиннеса, Ханиеля, Рейтера, Майнена за «пораженческие разговоры».

Однако бурные события 20 июля 1944 г. и их последствия привели к переменам в расстановке сил в руководстве Третьего рейха. Возвышение Геббельса сопровождалось укреплением его связей с недавним противником – Борманом. Шпеер отмечал, что «Геббельс неожиданно стал вести себя не как министр правительства, а как партийный руководитель». По словам Шпеера, Геббельс при поддержке Бормана стал готовить широкий призыв в армию работников сферы производства вооружений. Поощряемые Борманом и Геббельсом гаулейтеры стали вмешиваться в производственную деятельность военных заводов.

20 сентября 1944 г. Шпеер направил Гитлеру жалобу на Геббельса и Бормана. Он возмущался тем, что они объявили его министерство «собранием реакционных капитанов промышленности», а может и откровенно «антипартийным». Шпеер потребовал прямого подчинения ему гаулейтеров и представителей аппарата Бормана по вопросам экономики в округах (гау). Однако следствием обращения Шпеера стало его подчинение Геббельсу как руководителю по тотальной мобилизации. Совершенно очевидно, что «любимый архитектор» Гитлера проигрывал в борьбе с более опытными политиканами Третьего рейха.

К этому времени Красная Армия и войска союзников подошли к границам Германии. 7 сентября 1944 г. «Фёлькишер беобахтер» опубликовала передовицу, в которой говорилось: «Ни одного германского колоска, чтобы питать врага, ни одного немецкого рта, из которого враг получил бы информацию, ни одной руки немца, протянутой ему ради помощи. Враг найдет каждый мостик уничтоженным, каждую дорогу заблокированной – ничего, кроме смерти, уничтожения и ненависти». Нацистское руководство намеревалось осуществить политику «выжженной земли».

Однако владельцы заводов и фабрик решительно выступали против этой программы. Они вовсе не собирались «выжигать» свои предприятия до основания. Шпеер стал проводником настроений деловых кругов Германии, приведших к молчаливому саботажу программы «выжженной земли». Еще 5 сентября он в своем письме гаулейтеру Мозеля Симону писал: «Следует разработать планы на тот случай, если район Минетт и другие промышленные районы попадут в руки неприятеля, фабрики будут лишь временно выведены из строя. Этого можно будет достичь, удалив различные элементы оборудования и взяв их с собой, не повреждая сами фабрики. Мы должны исходить из того, что мы вернем район Минетт, так как без него мы не сможем продолжать войну».

В дальнейшем Шпеер продолжал прибегать к этим аргументам. Он говорил, что полное уничтожение фабрик и заводов означает неверие в окончательную победу Германии. Став мастером политической интриги, Шпеер постарался заручиться санкцией Гитлера. Поэтому, прежде чем направлять подготовленную им инструкцию о выводе из строя предприятий военного производства для восьми гаулейтеров в западной части Германии, Шпеер послал ее на утверждение Гитлеру. Инструкция открывалась словами: «Фюрер заявил, что он скоро вернет утраченные территории. Так как западные области жизненно необходимы для продолжения борьбы, надо принять меры в связи с эвакуацией, чтобы сохранялась возможность полного восстановления функционирования промышленности в этих районах… Энергетические установки в горнодобывающих районах должны сохраняться, чтобы вода в шахтах удерживалась на допустимом уровне. Если выйдут из строя насосы, то выйдут из строя и шахты, и потребуется целые месяцы, чтобы они были восстановлены». Гитлер полностью одобрил текст инструкции, изменив лишь первую фразу, которая теперь звучала так: «Возвращение части территории, которая потеряна сейчас на Западе, отнюдь не исключается».