Второе сражение при Эль-Аламейне (23 октября — 4 ноября 1942 года) закончилось полным поражением немецко-итальянской танковой армии (1 ноября 1942 года танковая армия «Африка» была переименована в немецко-итальянскую танковую армию). Ее потери составили 55 тыс. человек, 320 танков и около 1 тыс. орудий. Остатки разгромленных под Эль-Аламейном войск Роммеля избежали полного уничтожения только потому, что англичане вели преследование слишком медленно.

Отступив к началу 1943 года в Тунис, Роммель закрепился там на заранее подготовленных позициях. После высадки англо-американских войск в Марокко и Алжире (ноябрь 1942 года) Роммель предложил Гитлеру оставить Северную Африку и эвакуировать немецко-итальянские войска в Европу. Но фюрер не пожелал об этом даже и слышать. По его приказу в Африку была переброшена вновь сформированная 5-я танковая армия (генерал Ю. фон Арним), которая вместе с немецко-итальянской танковой армией образовала группу армий «Африка», которую возглавил Роммель (февраль 1943 года).

В конце февраля войска новой группы армий нанесли поражение американцам в боях на перевале Кассерин, но в начале марта сами потерпели серьезную неудачу при Меденине. 9 марта Гитлер отозвал Роммеля в Германию. Прибывший в ставку фюрера фельдмаршал был награжден бриллиантами к Рыцарскому кресту (11 марта 1943 года). Рыцарский крест с дубовыми листьями, мечами и бриллиантами являлся высшей боевой наградой в нацистской Германии. Роммель стал первым из гитлеровских фельдмаршалов, удостоенных этой награды. После него до конца войны такую награду получили еще 3 фельдмаршала (Кессельринг, Модель и Шернер). Все они, как и Роммель, были «выходцами из народа», но в отличие от него, являлись ярыми нацистами.

До Эль-Аламейна Гитлер и Роммель были между собой в прекрасных отношениях. Но после этого сражения их отношения стали неуклонно ухудшаться. Вызванный после поражения под Эль-Аламайном в ставку фюрера фельдмаршал стал свидетелем тех же сцен, которые уже испытали до него многие из высших военачальников Третьего рейха: на него как из рога изобилия посыпались обвинения в пораженческих настроениях. Роммель впервые испытал на себе истерические припадки ярости фюрера, вспышки беспричинного гнева, нечленораздельные вопли, бессвязную ругань и другие атрибуты странного, не поддающегося здравой логике поведения обожаемого им до сих пор верховного главнокомандующего. В конце концов Гитлер договорился до того, что поставил под сомнение боеспособность всего Африканского корпуса. В ответ на это оскорбление Роммель, ни говоря ни слова, резко развернулся и вышел из комнаты. Позднее он стал более решительным в общении с Гитлером. Когда тот в очередной раз набросился на него с обвинениями — почему солдаты его армии вместо того чтобы стоять насмерть предпочитают отступление, — Роммель в ответ предложил: пусть фюрер или кто-нибудь из его окружения лично прибудет на фронт и покажет, как это делается.

После отъезда из Африки Роммель в течение нескольких месяцев находился как бы в «полуотставке». В мае 1943 группа армий «Африка», как он и предполагал, была окончательно разгромлена западными союзниками в Тунисе, а остатки ее 13 мая 1943 года капитулировали. Когда агония этой обреченной на гибель группировки немецко-фашистских войск подходила к концу, Гитлер вызвал Роммеля к себе в ставку. «Мне следовало бы прислушаться к вашему мнению», — заявил фюрер полуопальному полководцу.

Роммель снова оказался у него в доверии, неофициальная отставка закончилась, и в июле 1943 года он получил назначение на должность командующего вновь создаваемой группы армий «Б», штаб которой находился в Мюнхене (Бавария). В августе 1943 года ее войска были переброшены в Северную Италию. После высадки англо-американских войск на юге Апеннинского полуострова образовался Итальянский ТВД. Боевые действия на нем вели войска группы армий «Ц» (генерал-фельдмаршал А. Кессельринг). Оперативностратегические взгляды двух фельдмаршалов, оказавшихся в Италии, сразу же кардинальным образом разошлись. Гитлер принял сторону своего нового любимца Кессельринга, который всегда и во всем с ним соглашался.

В ноябре 1943 года все войска, находившиеся в Италии, были подчинены Кессельрингу, и Роммель вновь оказался не у дел. Не зная, что делать с ним, Гитлер пока поручил Роммелю проинспектировать Атлантический вал (так называлась линия сооружаемых от Дании до Испании прибрежных укреплений). Выводы возглавляемой Роммелем инспекции были неутешительны для Гитлера. В своем докладе фюреру Роммель заявил, что последний для Германии шанс выиграть войну — это не допустить высадки англо-американских войск во Франции и тем самым сорвать план западных союзников открыть Второй фронт в Европе. Решение этой задачи он готов был взять на себя. Но командующий войсками на Западе генерал-фельдмаршал Г. фон Рундштедт был не в восторге от активности, которую развернул находящийся не у дел фельдмаршал в сфере, находившейся в пределах его компетенции. Он заподозрил, что Роммель прислан на Запад ему на замену и приложил немалые усилия, чтобы дезавуировать деятельность своего «соперника».

Но в конце декабря все же состоялась встреча двух фельдмаршалов, на которой они сумели прийти к согласию. 30 декабря 1943 года Роммель выступил с предложением создать на Западе группу армий «Б» в составе 7-й армии (генерал Ф. Дольман), 15-й армии (генерал Г. фон Зальмут) и 88-го отдельного армейского корпуса — всего 38 дивизий. Гитлер едва ли пришел в восторг от этой идеи, поскольку, судя по всему, намеревался использовать Роммеля на Восточном фронте, но, в конечном счете, вынужден был согласиться. 2 января 1944 года группа армий «Б» была создана, командующим ее назначен Роммель, который вошел в подчинение Рундштедта. Так Роммель получил свое самое крупное и последнее назначение.

Но вскоре после достигнутого компромисса между Роммелем и Рундштедтом вновь возникли крупные разногласия, на это раз по вопросу использования находившихся на Западе 10 танковых дивизий. В распоряжении Роммеля не было ни одной танковой дивизии, все они находились в резерве Рундштедта. Роммель правильно предугадал место возможной высадки англо-американских войск — Нормандия, и приступил к укреплению обороны в этом районе, намереваясь в случае высадки сразу же сбросить противника в море. Но для этого ему нужна была ударная танковая группировка. Однако у Рунштедта был другой план, сводившийся к тому, что, поскольку немецкие войска на Западе не в состоянии помешать высадке союзников во Франции, то решающее сражение дать им не на побережье, а в глубине, где они будут лишены мощной поддержки флота. Именно там он и предполагал использовать свои танковые дивизии как основную ударную силу. Роммель ему возражал, напоминая, что времена великих танковых побед уже прошли. По собственному опыту, как никто другой из военачальников Третьего рейха, он знал боевые возможности англо-американской авиации и понимал, что стоит только западным союзникам закрепиться на континенте, то выбить их оттуда будет практически уже невозможно. Но переубедить старого фельдмаршала было невозможно. Столкнувшись с новыми разногласиями между фельдмаршалами, Гитлер пошел на компромисс и… поддержал их обоих, притом довольно оригинальным образом. 3 танковые дивизии он подчинил Роммелю, 3 других отправил на юг Франции, в группу армий «Г», а 4 дивизии оставил в распоряжении Рундштедта. В итоге обе заинтересованные стороны остались недовольны таким решением, т. к. планы каждой из них оказались сорванными.