Организация штурмовиков заметно выросла после 30 января 1933 г. и насчитывала более 3 миллионов человек. Многие вступали в СА, чтобы избежать безработицы и в надежде получить блага, которые, по их мнению, причитались победителям 1933 г. Однако вскоре штурмовики обнаружили, что приход Гитлера к власти не принес им ощутимых плодов, и требовали «второй революции». Эти надежды усилились после того, как в декабре 1933 г. Рем стал членом правительства. Играя на настроениях рядовых штурмовиков, Рем в своих выступлениях атаковал деятелей рейхсвера и некоторых руководителей нацистской партии за их «консерватизм».

В то же время штурмовики под руководством Рема выходили из-под контроля Гитлера. Поскольку же СС формально входили в структуру СА, то Рем вмешивался в дела эсэсовцев, производя назначения без ведома Гиммлера. Публично Гиммлер не протестовал против этих действий Рема, но с помощью службы Гейдриха собирал информацию о положении в СА и руководстве штурмовиков. Так логика борьбы за власть заставила Гиммлера вступить в противостояние с человеком, который ввел его в ультраправое националистическое движение, а затем в нацистскую партию.

К этому времени против Рема и СА выступали многие в Германии, возмущенные бесчинствами штурмовиков. Недовольны ими были также кадровые военные, видевшие в СА соперницу рейхсвера. Их недовольство разделяли многие влиятельные люди в руководстве нацистской партии, видевшие в Реме и штурмовиках опасных конкурентов. Соперничество Геринга и Фрика с Гиммлером за контроль над полицейским аппаратом отходило на второй план по сравнению с борьбой против Рема и СА. Еще в начале 1933 г. Геринг посетовал, что тщеславие начальника штаба СА угрожает нацистскому строю. В конце года он вместе с Фриком стал предпринимать усилия для обуздания Рема. Активно выступил против своего бывшего наставника и Гиммлер.

К этому времени Гейдрих сумел собрать достаточно информации, на основе которой была составлена версия о заговоре Рема с участием бывшего рейхсканцлера Шляйхера и Грегора Штрассера. Выступив против Рема, Гиммлер с неменьшей легкостью был готов обвинить своего бывшего шефа Штрассера в государственной измене. Хотя многие утверждали, что версию о заговоре Рема изложил Гитлеру Геринг, на Нюрнбергском процессе Фрик показал, что именно Гиммлер убедил Гитлера принять решительные меры против руководства СА во главе с Ремом. Неизвестно, поверил ли Гитлер этой версии или ему было удобно поверить в нее, но он согласился с ней.

На протяжении июня 1934 года Гейдрих готовил списки штурмовиков, подлежавших аресту. Руководители СА были взяты под наблюдение. 6 июня 1934 г. СД была объявлена разведывательной службой партии.

20 июня Гиммлер утверждал, что его автомашина подверглась обстрелу неизвестными лицами, и он сообщил об этом Гитлеру. 24 июня Гиммлер провел совещание верховного командования СС. На другой день 25-я армия была приведена в состояние боевой готовности.

Поскольку Гитлер колебался, Гиммлер решил внести нотку драматизма. 25 июня он неожиданно появился на свадьбе эссенского гаулейтера Тербовена, на которой присутствовали Гитлер и Геринг. Посовещавшись с ними, Гиммлер вместе с Герингом покинули свадьбу и вернулись в Берлин, создавая впечатления чрезвычайности положения. Под давлением Геринга и Гиммлера Гитлер согласился «решительно» поговорить с Ремом.

В ночь 30 июня Гитлер прибыл к Рему, который находился в небольшом городе Висзее. Гитлер позже уверял, что застал Рема в постели с мальчиком. После короткой, но бурной беседы Рем был арестован. Ему была предоставлена возможность покончить жизнь самоубийством, но он ей не воспользовался и 2 июля был застрелен в тюремной камере.

В Берлине Гиммлер и Геринг сами творили расправу. Когда Гитлер прибыл в Берлин, его встретила эта пара. По словам очевидца Гизевиуса, Геринг и Гиммлер подали Гитлеру списки казненных и тех, кого еще собирались казнить. Гитлер пробежал глазами эти списки, а Геринг и Гиммлер что-то ему нашептывали.

Хотя 13 июля 1934 г. в своем выступлении в рейхстаге Гитлер уверял, будто были расстреляны 71 человек, включая 50 высших и старших чинов СА, есть сведения о том, что число расстрелянных было больше. Виктор Кузнецов в книге «Ночь длинных ножей» считает, что было расстреляно 191. В. Герлиц и Г. Квинт в книге «Адольф Гитлер. Биография» написали, что было расстреляно 1076 человек, а 1124 человек были арестованы.

Гитлер высоко оценил заслуги СС в разгроме Рема и других его потенциальных соперников. 26 июля 1934 г. Гитлер предоставил СС статус организации, пользующейся исключительными правами. Теперь организация СС отчитывалась за свои действия только перед Гитлером.

К этому времени СС стала многочисленной организацией. В ее ряды старались вступить многие, рассчитывавшие обрести выгодное социальное положение и известные материальные привилегии. Поэтому в 1934–1935 гг. Гиммлер организовал чистку рядов СС, отчислив около 60 тысяч. Даже после этой чистки в СС состояло около 200 тысяч человек.

Существенно укрепив свое положение в руководстве рейха после «ночи длинных ножей», Гиммлер добился того, что 2 мая 1935 г. деятельность гестапо вышла из-под юрисдикции министерства внутренних дел, возглавляемого Фриком. 10 февраля 1936 г. Гитлер подписал постановление о том, что гестапо является особой полицейской организацией. В июне 1936 г. Гиммлер стал начальником германской полиции при министерстве внутренних дел. Хотя Фрик оставался формально начальником Гиммлера, но он утратил возможность контролировать действия своего подчиненного.

Одновременно под влиянием идей, изложенных в книге Дарре, Гиммлер занялся исследованием расовых истоков современных немцев. С этой целью было создано общество «Аненербе» («Наследие предков»). Президентом общества стал Гиммлер. Общество «Аненербе» осуществляло археологические раскопки древнегерманских руин в Науэне и Альткристене и даже направило экспедицию в Тибет.

Излагая свои взгляды в статье, опубликованной в 1936 г., Гиммлер писал: «Я, рейхсфюрер СС, сам являющийся крестьянином по наследию, крови и плоти, хотел бы заявить вам, немецким крестьянам: идея чистоты крови, с самого начала поддерживавшаяся СС, была бы обречена, не будь она неразрывно связана с ценностью и святостью почвы».

Гиммлер предупреждал: «Я знаю, что в Германии есть люди, которых тошнит при виде нашей черной формы. Мы понимаем причину этого и не рассчитываем, что нас полюбят все без исключения. У тех, кто нас боится, нечиста совесть перед фюрером и нацией. Из-за этих людей мы и создали организацию, именуемую секретной службой… Мы будем безжалостно действовать карающим мечом правосудия… Каждый из нас знает, что он не одинок, что за его спиной – двести тысяч человек, связанных клятвой, и это придает каждому из нас огромную силу… Согласно неизменным законам истории, мы объединились в национал-социалистический военный союз арийской расы, и это сообщество связанных нерушимой клятвой людей будет двигаться вперед в далекое будущее… Мы – основа грядущих поколений, необходимая для вечной жизни немецкого народа».

За чистотой крови эсэсовцев осуществлялся придирчивый контроль. Тех, у кого обнаруживалась примесь «нежелательной крови», отчисляли из СС. По своему обыкновению, Гиммлер выражал сочувствие этим людям, но в силу другой черты своего характера – склонности педантично соблюдать правила – он не возвращал исключенных в ряды СС. Направляя письмо одному из исключенных из СС, Гиммлер писал: «Я хорошо представляю себе ваше положение и разделяю ваши чувства. Что же касается чистоты нашей крови, то я определил год окончания Тридцатилетней войны (1648) как рубеж, начиная с которого каждый из нас обязан быть уверенным в своем происхождении. Человек, среди предков которого после указанного года были евреи, должен покинуть СС… Сообщая вам это, я надеюсь, что вы поймете, какую великую жертву я вынужден заставить вас принести… Ведь в глубине души вы все еще принадлежите к нашей организации, все еще ощущаете себя членом СС».