Терпению Гитлера пришел конец, когда Рундштедт выступил с резкой критикой того, как нацистская верхушка в начале 1938 года поступила с Фричем (фабрикация ложных обвинений и позорное смещение с должности). В результате в ноябре 1938 года Рундштедт был уволен в отставку (формально по возрасту). Одновременно с отставкой он получил чин генерал-полковника. Но в отставке Рундштедт пробыл недолго. Приближалась война, и Гитлеру нужны были опытные генералы.

В мае 1939 года он снова приглашает Рундштедта на действительную военную службу и назначает его своим главным военным советником. В этой должности Рундштедт возглавил разработку плана войны против Польши, а перед началом Польской кампании 1939 года был назначен командующим группой армий «Юг» (8-я А, 10-я А и 14-я А), которая наносила главный удар. 28 сентября 1939 года его войска взяли Варшаву, завершив разгром польской армии. За Польскую кампанию 1939 года Рундштедт был награжден Рыцарским крестом (30 сентября 1939 года).

После разгрома Польши он возглавил группу армий «А» (4-я А, 12-я А, 16-я А и танковая группа «Клейст») на Западном фронте (20 октября 1939 года). Явился инициатором разработки нового плана войны против Франции («план Манштейна»).

Во время Французской кампании 1940 года войска Рундштедта, как и в Польше, наносили главный удар. Осуществив прорыв через Арденны к Ла-Маншу, они предопределили победный для Германии исход войны. Особенно успешно действовали танковые войска. Стремительно развивая достигнутый успех, они вышли на подступы к Дюнкерку. Союзные англо-французские войска были прижаты к морю и находились на грани уничтожения. Но завершающий удар по ним нанесен так и не был. 24 мая 1940 года по совету Рундштедта Гитлер отдал немецким танковым войскам знаменитый «стоп-приказ». Это позволило союзникам избежать полного уничтожения в районе Дюнкерка и благополучно провести эвакуацию большей части своих войск в Англию. Успешно действовали войска Рундштедта. и на завершающем этапе этой войны. 19 июля 1940 года произведен в генерал-фельдмаршалы.

После разгрома Франции Рундштедт командовал войсками на Западе (июнь 1940 года — март 1941 года). Находившаяся под его командованием группировка войск (6-я А, 9-я А и 16-я А) готовилась к вторжению в Англию.

С апреля 1941 года командующий группой армий «Юг» (6-я А генерал-фельдмаршала В. фон Рейхенау, 11-я А генерала О. фон Шоберта, 17-я А генерала К. фон Штюльпнагель, 1-я танковая группа генерала Э. фон Клейста), созданной для вторжения в СССР. Это была одни из трех оперативно-стратегических группировок немецко-фашистских войск, развернутых на Востоке против Советского Союза. В оперативном подчинении Рундштедта находились также две румынские армии. Рундштедт выступал против войны с СССР, т. к. считал, что начинать войну на Востоке, не завершив войну на Западе, — это полный абсурд. Но Гитлер и нацистское руководство его мнение проигнорировали. В кампанию 1941 года возглавляемые Рундштедтом войска разгромили советские Юго-Западный и Южный фронты, к началу ноября захватили почти всю Украину и большую часть Крыма. Наиболее крупные победы над советскими войсками были одержаны в Приграничном сражении (Западная Украина), под Уманью, восточнее Киева, в Приазовье и Крыму. Масштаб, размах и напряженность этих сражений ни шли ни в какое сравнение с теми, которые немецко-фашистским войскам пришлось вести до того на Западе. По утверждению немецких историков, войска группы армий «Юг» в ходе боевых действий на Украине и в Крыму летом — осенью 1941 года взяли в плен свыше миллиона советских солдат и офицеров, а также захватили в качестве трофеев около 3400 танков и свыше 6800 артиллерийских орудий. Овладев значительной частью Донбасса, Рундштедт выступил за прекращение дальнейшего наступления, но Гитлер отверг это предложение и потребовал продолжать наступление с целью захвата Ростова-на-Дону и выхода на р. Дон. 21 ноября 1-я танковая армия Клейста выполнила этот приказ и овладела Ростовом. Но перешедшие еще 17 ноября в контрнаступление войска Красной Армии создали угрозу левому флангу и тылу 1-й танковой армии. Чтобы избежать окружения, Клейст, вопреки приказу Гитлера, запретившего немецким войскам отступать, 28 ноября начал отвод своих войск из района Ростова. Одновременно он обратился к Рундштедту с просьбой санкционировать его решение. Рундштедт, нарушив приказ Гитлера, такое разрешение дал, приказав Клейсту отвести войска 1-й танковой армии на рубеж р. Миус. 29 ноября немцы оставили Ростов. 30 ноября фюрер отменил решение Рундштедта, приказав ему «держаться любой ценой». Рундштедт назвал такое требование «безумием» и заявил, что если Гитлер не отменит свой приказ, то ему придется искать другого исполнителя.

В ночь на 1 декабря Рундштедт был отстранен от командования. Он стал первым германским фельдмаршалом, отправленным Гитлером в отставку во время Второй мировой войны. Заменивший Рундштедта генерал-фельдмаршал В. фон Рейхенау сразу же отдал приказ приостановить отступление 1-й танковой армии, но уже через день, разобравшись в обстановке, отменил его. Смещать с должности второго фельдмаршала Гитлер уже не стал. Вскоре, прибыв в 1-ю танковую армию с намерением снять ее командующего и начальника штаба, он лично убедился, что Клейст и Рундштедт были правы.

В марте 1942 года Гитлер вызвал Рундштедта из отставки и назначил командующим немецко-фашистскими войсками на Западе (группа армий «Д» — 1-я А, 7-я А, 15-я А). Задача, стоявшая перед этими войсками, заключалась в том, чтобы не допустить высадки англо-американских союзников во Франции и воспрепятствовать открытию ими Второго фронта в Европе. Если такая высадка все же произойдет, то сбросить противника в море. Но выбор Гитлера оказался неудачным — Рундштедт уже не был тем полководцем, который водил германские армии к победам в 1939—1941 годы. Это был физически и морально истощенный человек весьма почтенного возраста, глубоко разочаровавшийся в благоприятном для Германии исходе Второй мировой войны. Он не верил в возможность предотвратить с имеющимися у него силами и средствами высадку союзных войск во Франции, сомневался в эффективности сооружаемого в срочном порядке т. н. «Атлантического вала», презрительно именуя его «Пропагандистским валом». Рундштедт даже не считал нужным скрывать свое скептическое отношение к высшему политическому и военному руководству рейха, не скупился на критические выпады в адрес фюрера (или, как он теперь его называл в узком кругу своих помощников, — «богемского ефрейтора»). Полное безразличие ко всему, апатия и неудовлетворенность всем вокруг были обычным состоянием фельдмаршала в этот период его деятельности. Передоверив все текущие дела своему штабу, а также своему деятельному подчиненному генерал-фельдмаршалу Э. Роммелю (командующий группой армий «Б»), он почти полностью самоустранился от всего, что могло внести какой-то диссонанс в его размеренную тыловую жизнь. На постоянное вмешательство ОКВ и лично Гитлера в сферу его деятельности реагировал вяло и практически не обращал на это особого внимания. В результате должных мер по подготовке обороны морского побережья на случай высадки союзников принято не было.

В отличие от Роммеля, выдвинувшего план нанесения мощного удара по противнику в момент его высадки на побережье, Рундштедт считал более целесообразным дать союзным войскам решительное сражение в глубине, когда они лишатся поддержки корабельной артиллерии, в стиле 1940 года. Но при этом Рундштедт не учитывал того обстоятельства, что победы 1940 года уже ушли в безвозвратное прошлое. Теперь на стороне союзников было полное превосходство в воздухе, немецко-фашистская армия утратила былое преимущество в танках и артиллерии, а боеспособность большинства немецких дивизий на Западе оставляла желать много лучшего. Выиграть в таких условиях сражение с закрепившимся на плацдарме и имеющим большое превосходство в силах и средствах противником было весьма проблематично. Но Рундштедт, по всей видимости, отчета себе в этом не отдавал и продолжал жить прежними иллюзиями, далекими от реальной действительности. К моменту начала высадки союзников в Нормандии в подчинении Рундштедта находились: группа армий «Б» (Роммель), группа армий «Г» (генерал И. Бласковиц), 1-я парашютная армия (генерал К. Штудент) и танковая группа «Запад» (генерал Л. фон Швеппенбург).