Амбициозные планы Гиммлера очевидно предполагали его значительную роль в руководстве грядущей «великой Германии». Переход гитлеровской Германии к захватам сопровождался расширением деятельности Гиммлера за пределами рейха. Гитлер, который к этому времени всецело доверял ему и даже стал называть «верным Генрихом», стал отправлять Гиммлера в заграничные поездки для ведения переговоров. Р. Мэнвелл и Г. Френкель писали: «Успехи Гиммлера на дипломатическом поприще можно объяснить тем, что, начиная с 1938 года, он применял против министерства иностранных дел и верховного командования ту же тайную стратегию, которой пользовался для ограничения власти Геринга над полицией. Поддерживая дружеские отношения с Риббентропом, Гиммлер одновременно вторгался в сферу деятельности МИД, дублируя ее через шпионскую сеть СД за границей. Например, после беседы с Гитлером, во время которой прозвучала мысль о возможности использования западными державами Северной Африки как плацдарма для контратаки на Европу (после того, как Германия ее захватит), Гиммлер отправил Шелленберга – самого толкового агента из числа людей Гейдриха – в Западную Африку с рискованным заданием наблюдать за морскими портами… Уже в январе 1939 года Гиммлер сделал своему штабу доклад о беседах с японским послом, касающихся укрепления Трехстороннего пакта и попытках заслать в СССР диверсантов, которые должны были убить Сталина. В мае 1939 года Чиано доложил, что Гиммлер посоветовал Италии установить свой протекторат в Хорватии, что противоречило политике Риббентропа, желавшего, чтобы Югославия оставалась неприкосновенной».

В 1940 г. возникли противоречия между Гиммлером и Риббентропом по поводу политики в отношении Румынии. Гиммлер предпринял также самостоятельные действия с тем, чтобы помимо германского МИДа, втянуть Испанию в мировую войну.

Обострились и отношения Гиммлера с Герингом после того, как выяснилось, что оценки рейхсмаршала относительно возможностей британских ВВС были сильно занижены, а выводы шефа внешней разведки СД В. Шелленберга оказались реалистичными.

Гиммлер вступил в конфликт и с военными в период подготовки захвата Судетской области. За четыре дня до Мюнхенского соглашения Гиммлер сообщил лидеру судетских немцев Генлейну, что тот переходит в распоряжение рейхсфюрера СС, а шесть батальонов «Мертвая голова» выдвинулись к чехословацко-германской границе. Эти действия были предприняты без санкции военных. Верховное командование отменило приказ Гиммлера и переподчинило батальоны «Мертвая голова» военным. В распоряжении Браухича говорилось: «Требуется, чтобы все дальнейшие решения принимались совместно командующим армией и рейхсфюрером СС».

После Мюнхенского соглашения Гиммлер активизировал усилия по созданию самостоятельных эсэсовских военных формирований. К сентябрю 1939 г. в подчинении Гиммлера находилось 18 тысяч эсэсовцев, прошедших военную подготовку. Хотя к началу мировой войны войска СС не играли существенной роли в вооруженных силах Германии, Гиммлер принял участие в разработке плана нападения на Польшу. Им была разработана операция «Гиммлер». Операция предусматривала провокационное нападение уголовников, одетых в польскую форму, на радиостанцию в немецком пограничном городе Гляйвиц. Уголовникам, которых условно именовали «консервы», были введены смертельные дозы яда, чтобы избавиться от них после окончания операции. За проведение операции отвечал шеф гестапо Генрих Мюллер.

В 1940 году эсэсовские части получили название Waffen SS. Правда, попытки Гиммлера расширить их, натолкнулись на непредвиденные препятствия. С одной стороны, Гитлер решил ограничить численность войск СС максимум пятью процентами от общей численности вооруженных сил Германии. С другой стороны, критерии отбора в войска СС были столь высоки, что нашлось немного немцев, которые бы отвечали им. Тогда в 1940 г. Гиммлер и начальник штаба Ваффен СС Бергер объявили, что в эти войска могут быть зачислены не только немцы, но и все представители «нордической расы». К концу 1940 г. в рамках Ваффен СС была создана дивизия «Викинг», в состав которой стали принимать добровольцев из Голландии, Дании, Норвегии, Финляндии.

После нападения Германии на СССР Гиммлер все чаще находился на оккупированной советской территории. Его штаб-квартира разместилась в Житомире. Гиммлер контролировал действия четырех дивизий СС на советско-германском фронте («Адольф Гитлер», «Рейх», «Мертвая голова», «Викинг»), а также эйзантцкоманды.

Тем временем первый помощник Гиммлера Гейдрих стал все активнее играть самостоятельную роль. После завершения польской кампании Гейдрих возглавил только что созданное Главное управление имперской безопасности (РСХА), взявшее под свой контроль гестапо, криминальную полицию и СД. В конце 1941 г. он был назначен Гитлером имперским протектором Богемии. В сообщении от 27 сентября 1941 г. из Праги Гейдрих писал, что «все политические рапорты и донесения будут передаваться им через рейхсляйтера Бормана», а не через Гиммлера. В беседе с Шелленбергом Гейдрих дал понять, что Гитлер готовит ему еще более высокий пост, в случае его успеха в Праге. Говорили, что это возвышение Гейдриха вызывало ревность у Гиммлера.

Однако благоволение Гитлера к Гейдриху было недолгим. В беседе с Шелленбергом весной 1942 г. Гейдрих пожаловался, что Гитлер «все больше полагается на Гиммлера, который… может использовать свое влияние на фюрера в личных интересах». Осложнились и отношения Гейдриха с Борманом.

В ночь на 27 мая 1942 г. на Гейдриха было совершено покушение двумя членами подпольной организации «Свободная Чехословакия», заброшенными из Англии. Гейдрих был тяжело ранен и через три недели умер от гангрены, вызванной ранением. В отместку за уничтожение Гейдриха мужское население небольшой деревни Лидице было истреблено, женщины из этой деревни были брошены в концлагеря. 90 детей из Лидице были подвергнуты обследованию на предмет германизации. Те, кто не отвечал расовым требованиям, были вывезены в концлагеря на территории Польши.

После смерти Гейдриха Гиммлер, по приказу Гитлера, временно принял на себя руководство РСХА. Лишь 30 января 1943 г. руководство РСХА, а также СД взял на себя Эрнст Кальтенбруннер. Однако до прихода Кальтенбруннера Гиммлер успел внимательно ознакомиться с данными его слежки за руководителями рейха. В конце 1942 г. Гиммлер, по словам его массажиста Керстена, ознакомился с досье о состоянии здоровья Гитлера, который тайно составил Гейдрих. Из содержания досье следовало, что Гитлер, возможно, страдал прогрессирующим параличом. Гиммлер говорил Керстену: «Теперь вы понимаете, как я обеспокоен». Он был уверен, что в случае смерти Гитлера «между партией и армией начнется бешеная грызня из-за наследства». По словам Керстена, Гиммлер сказал, что он «никогда не выступит против фюрера первым, так как в этом случае его мотивы сочли бы эгоистическими и заподозрили бы в стремлении захватить власть». Гиммлер выразил надежду, что Гитлер сумеет справиться с болезнью. Между тем Гиммлер, как и другие очевидцы, видели, что в 1943 г. физическое состояние Гитлера ухудшилось и к концу года у него появились признаки болезни Паркинсона.

Еще большее беспокойство Гиммлера вызывало положение на советско-германском фронте. Страх поражения от Красной Армии заставлял его искать пути к заключению сепаратного мира с западными державами. Участник антигитлеровского заговора среди военных Хассель писал в сентябре 1941 г.: «Совершенно ясно, что окружение Гиммлера всерьез обеспокоенно и ищет выхода». Весной 1942 г. Чиано в своем дневнике записал, что Гиммлер «ощущает пульс страны и хочет компромиссного мира».