В июне 1940 года назначен командиром вновь сформированной 6-й горно-стрелковой дивизии и вскоре произведен в генерал-майоры (1 августа 1940 года). После завершения Французской кампании 1940 года дивизия Шернера была переброшена в Польшу, где входила в состав оккупационных войск. Весной 1941 года принял участие в Балканской кампании.

Дивизия Шернера вела боевые действия в Греции, отличилась при прорыве «линии Метаксаса», овладела г. Лариса и захватила гору Олимп. 27 апреля 1941 года Шернер во взаимодействии со 2-й танковой дивизией занял столицу Греции — Афины, затем участвовал в захвате острова Крит.

За Балканскую кампанию 1941 года награжден Рыцарским крестом. Дивизия Шернера оставалась в Греции до осени 1941 года, когда была переброшена в Заполярье (октябрь 1941 года). На Восточном фронте она вошла в состав горно-стрелкового корпуса «Норвегия» (затем переименован в 19-й горно-стрелковый корпус), действовавшего на мурманском направлении. Особо отличился при отражении наступления советских войск в декабре 1941 года, за что был произведен в генерал-лейтенанты и назначен командиром горно-стрелкового корпуса «Норвегия» (15 января 1942 года). В апреле 1942 года снова отбил крупное наступление русских. 1 июня 1942 года получил чин генерала горно-стрелковых войск.

В октябре 1943 года Гитлер неожиданно назначил Шернера командиром 40-го танкового корпуса на Украине, несмотря на то, что тот не имел ни соответствующей подготовки, ни опыта командования танковыми соединениями. Вскоре Шернер возглавил армейскую группу «Никополь», в состав которой, кроме его корпуса, входили еще 3 армейских корпуса. Перед этой группой Гитлер поставил задачу оборонять Никопольский плацдарм на Днепре. Выбор фюрера, видимо, основывался на том, что Шернер к этому времени сумел проявить себя как один из наиболее выдающихся в германской армии организаторов прочной обороны и мастером ведения оборонительных действий. Его 2-летний опыт ведения успешной обороны в суровых условиях Крайнего Севера был высоко оценен верховным командованием вермахта. И Шернер оправдал доверие Гитлера, упорно удерживая Никопольский плацдарм в течение 4 месяцев. Он был оставлен немцами только тогда, когда советские войска обошли его, создав угрозу окружения (февраль 1944 года). Несмотря на исключительно сложные условия обстановки (сильная распутица, мощный натиск советских войск, стремившихся замкнуть кольцо окружения), Шернеру удалось вывести основную массу своих войск из-под удара противника на запад и спасти их от неминуемого гибели. Оборона Никопольского плацдарма принесла Шернеру славу талантливого военачальника. В феврале 1944 года он был назначен начальником штаба национал-социалистского руководства при главном командовании сухопутных войск. Его основная задача на этом посту заключалась в распространении нацистской идеологии среди личного состава сухопутных войск. Однако уже через 1,5 месяца он вступил в конфликт со всемогущим шефом НСДАП М. Борманом и оставил этот пост.

По рекомендации Г. Гиммлера Гитлер произвел Шернера в генерал-полковники и назначил командующим группой армий «А» (7 апреля 1944 года), которая вскоре была переименована в группу армий «Южная Украина». В это время разбитые Красной Армией на Юге Украины немецко-фашистские войска в беспорядке отступали к Днестру. Суровыми мерами новому командующему удалось восстановить порядок в войсках и создать новый фронт обороны по р. Днестр, на котором наступление советских войск было остановлено. Среди принятых Шернером мер был и отданный им приказ, согласно которому части и подразделения, самовольно оставившие свои позиции, подлежали немедленному расстрелу за трусость.

Изолированная советскими войсками в Крыму 17-я полевая армия была обречена. Понимая это, Шернер предложил Гитлеру эвакуировать ее, а Крым оставить, но получил отказ. В мае 1944 года 17-я армия была уничтожена советскими войсками в Крыму. Виновником этого сокрушительного для вермахта разгрома был объявлен командующий 17-й армией. 5 июля 1944 года Шернер сдал командование группой армией «Южная Украина» генералу И. Фриснеру, а сам 25 июля был назначен командующим группой армией «Север» в Прибалтике, где обстановка для немецко-фашистских войск к этому времени сложилась критическая.

Наступавшие советские войска 1-го Прибалтийского фронта достигли побережья Балтийского моря и отсекли находившуюся в Прибалтике группировку немецко-фашистских войск от Восточной Пруссии. В этих условиях Шернеру жесткими мерами удалось удержать фронт в Прибалтике от полного развала. Чтобы сократить ширину фронта обороны, для удержания которого сил у него было явно недостаточно, Шернер предложил Гитлеру оставить Эстонию, но получил отказ. 14 сентября Красная Армия начала наступление в Прибалтике по всему фронту. В считанные дни оборона врага рухнула. Почти вся территория трех прибалтийских республик Советского Союза была освобождена от гитлеровских оккупантов. Остатки группы армий «Север» были заблокированы в Курляндии. В ходе этой оборонительной операции Шернер допустил крупную оперативную ошибку, значительно ускорившую поражение немецко-фашистских войск в Прибалтике. Он проигнорировал предложение начальника Генерального штаба сухопутных войск генерала Г. Гудериана об усилении своего правого фланга и неправильно использовал 3-ю танковую армию, которая перед этим пробила коридор к группе армий «Север» и восстановила ее связь с Восточной Пруссией. В результате в начале октября 1944 года советские войска нанесли мощный удар в районе Клайпеды, разгромили немецкую 3-ю танковую армию и окончательно отсекли группу армий «Север» от основных сил германского Восточного фронта. Правда, все попытки советских войск ликвидировать «Курляндский котел» в конце 1944 были Шернером отражены.

Гитлер высоко оценил заслуги Шернера на Восточном фронте в 1943—1944 годах, наградив его дубовыми листьями и мечами к Рыцарскому кресту, а 1 января 1945 года удостоил высшей боевой награды нацистской Германии— бриллиантов к Рыцарскому кресту. В Третьем рейхе такую награду имели только 27 человек, из них лишь 4 фельдмаршала. Шернер был последним из них.

17 января 1945 года Гитлер назначил своего любимца командующим группой армий «А» в Польше и Словакии. Положение этой группировки немецко-фашистских войск в данный момент было катастрофическим. Оборона ее во многих местах была взломана, и советские войска стремительно развивали успех в глубину. Драконовскими мерами Шернер пытался остановить бегство своих войск. Свирепствовали военно-полевые суды, по приговорам которых были повешены многие десятки солдат и офицеров, не проявившие должной стойкости в боях или бежавшие с фронта. Но все усилия Шернера оказались тщетными. Его попытка удержать Силезию — последнюю военно-промышленную базу Германии после разбитого и разбомбленного союзной авиацией Рура — также окончилась неудачей.

Остатки разгромленных Красной Армией войск Шернера отступили в Чехословакию и Саксонию. Здесь группа армий «Центр» (бывшая группа армий «А») была приведена в порядок и восстановила свою боеспособность. Ее численность возросла до 600 тыс. человек. К началу весны 1945 года это была самая сильная из всех группировок немецко-фашистских войск. Объяснялось это тем, что Гитлер, как и убедивший его в этом Шернер, считал наиболее вероятным нанесение Красной Армией весной 1945 года удара не на Берлин, а на Прагу и Вену. 5 апреля 1945 года Гитлер произвел Шернера в генерал-фельдмаршалы.