Но приближалась война, и Гитлер нуждался в опытных генералах. Поэтому уже в октябре 1938 года Клюге вновь был призван на службу. Ему было поручено сформировать и возглавить 6-ю армейскую группу (Ганновер), в состав которой вошли 9, 10 и 11-й военные округа (всего 6 дивизий). В августе 1939 года на базе этой группы была развернута 4-я армия, командующим которой стал Клюге. На этот пост Гитлер назначил его не без колебаний, т. к. сомневался в способности Клюге командовать армией в боевой обстановке. К тому же против кандидатуры Клюге выступал ненавидевший его Г. Геринг. Так что Польская кампания 1939 года стала для Клюге своего рода экзаменом на зрелость. И Клюге его блестяще выдержал, получив за свои победы в Польше чин генерал-полковника. Гитлер больше не сомневался в его военных способностях. Затем Клюге отличился во Французской кампании 1940 года, за которую был произведен в генерал-фельдмаршалы (19 июля 1940 года) и награжден Рыцарским крестом. В ходе этой кампании 4-я армия, действуя в составе главной ударной группировки немецко-фашистских войск, нанесла удар через Бельгию в общем направлении Намюр, Камбре. Затем, развернув фронт наступления на северо-запад, охватила с юга группировку союзников в районе Дюнкерка, создав так называемый Дюнкеркский котел.

После эвакуации англо-французских войск из этого котла Клюге развернул наступление из Фландрии в югозападном направлении, овладел городами Амьен и Руан, оккупировал Нормандию и Бретань и завершил эту победоносную для германской армии военную кампанию взятием 23 мая города Ла-Рошель. После разгрома Франции 4-я армия была переброшена в Польшу.

Клюге принадлежал к числу тех немногих германских военачальников, которые поддерживали идею нацистского руководства о нападении на Советский Союз. В первые же дни войны против СССР возглавляемые Клюге войска окружили в районе Белостока крупную группировку советских войск. Ее уничтожение затем завершили немецкие 2-я и 9-я армии. А Клюге 26 июня получил приказ Гитлера объединить под своим командованием 2-ю и 3-ю танковые группы и развивать стремительное наступление в глубь советской территории, к Днепру. Войска 4-й армии поступили в подчинение штаба 2-й армии (генерал М. фон Вейхс). 5 августа 1941 года войска Клюге захватили Смоленск. В августе 1941 года Клюге снова вступил в командование 4-й армией. Осенью 1941 года выступил против наступления на Москву, обосновав свою позицию тем, что приближается зима, а немецкие войска не готовы к действиям в зимних условиях. Когда наступление все же началось, то особой активности в ходе его не проявлял. Убедившись в провале наступления на Москву, одним из первых командующих армиями уже 4 декабря начал отвод своих войск от советской столицы. 19 декабря 1941 года Клюге был назначен командующим войсками группы армий «Центр», заменив на этом посту смещенного Гитлером генерал-фельдмаршала Ф. фон Бока. Вступив в должность, сразу же добился отставки целого ряда высших генералов, в том числе всех командующих армиями, входивших в состав его группы войск (Г. Гудериан, Э. Гепнер и др.), сделав их в угоду Гитлеру своего рода «козлами отпущения» за поражение немецко-фашистских войск под Москвой.

Перед началом кампании 1942 года Клюге удалось довольно искусно дезинформировать советское командование относительно того, что в 1942 году главный удар немецко-фашистской армии снова будет нанесен в центре, на московском направлении. В результате крупные силы Красной Армии были сосредоточены на центральном участке советско-германского фронта, а южный фланг, где противник в действительности нанес свой главный удар, оказался ослабленным. В 1942 году главные события развернулись на Юге. На фронте группы армий «Центр» в основном происходили лишь бои местного значения. Вместе с тем Клюге удалось отразить ряд сильных ударов советских войск (под Ржевом, Белевом и др.). Зимой 1942/43 годов Клюге в целом успешно противостоял упорным попыткам русских прорвать оборону его войск, хотя на ряде участков ему и пришлось отступить. Выступал против бесчеловечного обращения с советскими военнопленными. Знал о существовании заговора против Гитлера и одобрял действия заговорщиков, которые действовали в его штабе (группа генерала Х. фон Трескова). Был противником наступления под Курском (операция «Цитадель»), которое привело к Курской битве и очередному крупному поражению немецко-фашистского вермахта. Сам же Клюге от прямого участия в операции «Цитадель» уклонился, и после ее провала в июле 1943 года избежал каких-либо нареканий в свой адрес. В середине июля 1943 года Красная Армия прорвала оборону на правом крыле группы армий «Центр» (в районе Орла), что привело к ее отступлению за Днепр. Лишь там Клюге удалось задержать мощное наступление советских войск (осень 1943 года).

28 октября 1943 года Клюге попал в автокатастрофу, когда его автомобиль занесло на обледенелом шоссе Орша — Минск. Получивший тяжелые травмы фельдмаршал был эвакуирован для лечения в Германию. 2 ноября 1943 года Гитлер наградил Клюге дубовыми листьями и мечами к Рыцарскому кресту, а через два дня по состоянию здоровья освободил его от командования группой армий «Центр». Лечение затянулось на целых 8 месяцев. Все это время Клюге находился в резерве верховного командования вермахта (ОКВ).

2 июля 1944 года он был назначен командующим войсками группы армий «Д» (командующий войсками Западного фронта). Принимая это новое назначение, Клюге совершенно не представлял себе всей сложности стоявших перед ним задач, не знал конкретной обстановки, сложившейся к этому времени на Западном фронте. Гитлер убедил его, что все неудачи там — это результат плохого или недостаточно решительного руководства войсками. Поэтому Клюге прибыл во Францию полный оптимизма и радужных надежд. Он был уверен, что решительными мерами ему удастся исправить положение и вдохнуть энергию в своих подчиненных. Но уже первая встреча с командующим группой армий «Б» генерал-фельдмаршалом Э. Роммелем (в подчинении Клюге находились две группы армий — «Б» и «Г»), пытавшимся открыть Клюге глаза на истинное положение дел, вылилась в бурную ссору со взаимными оскорблениями и серьезно поколебала его уверенность.

После же посещения фронта настроение Клюге резко изменилось в худшую сторону. От его оптимизма не осталось и следа: он пришел к выводу о невозможности противостоять ожидаемому наступлению союзников. Гитлер это быстро подметил по характеру донесений Клюге в ставку, его отношение к командующему войсками Западного фронта стало настороженным. Следовавшие одно за другим поражения немецко-фашистских войск на всех фронтах окончательно подорвали веру Клюге в конечную победу Германии. Он снова вступил в контакты с заговорщиками, готовившими очередное покушение на Гитлера, обещал им свою поддержку, но при условии, если покушение увенчается успехом. После неудачи покушения 20 июля 1944 года Клюге сразу же отмежевался от заговорщиков, оказал содействие гестапо и СС в ликвидации последствий заговора на Западном фронте и послал верноподданническую телеграмму фюреру.

25 июля союзники перешли в наступление на северо-западе Франции. Фронт группы армий «Б» затрещал по всем швам. Клюге обратился к Гитлеру с просьбой разрешить ему отвести войска за р. Сена, но получил отказ. В результате войска группы армий «Б» (всего 23 дивизии) оказались в окружении в районе г. Фалез. 15 августа союзники высадились в Южной Франции. Войска находившейся там группы армий «Г» не смогли помешать этому и начали отступление на север.