Бломберг правильно предвидел характер будущей войны. Предметом особой его заботы являлось создание танковых войск, которое началось с осени 1935 года. Большое внимание он также уделял подготовке командных кадров, оказывал всемерное содействие созданию ВВС (люфтваффе). Развертывание крупных вооруженных сил способствовало быстрому продвижению кадровых офицеров по службе, которое в рейхсвере было очень медленным. Поэтому офицерский корпус, ранее не особенно замеченный в своей основной массе в симпатиях к нацизму, теперь стал горячим сторонником нового режима. Но параллельно с этими одобряемыми армией мероприятиями Бломберг в угоду нацистам настойчиво проводил и другие, вызывающие у его многих подчиненных недоумение, а то и осуждение. Так, в 1935 году он издал приказ, обязывавший начальников и командиров всех степеней выявлять и ставить на учет в гестапо политически неблагонадежных военнослужащих. В том же году вышел его секретный приказ, обязывавший офицеров принять нацистское мировоззрение. Теперь на повышение в чине могли рассчитывать лишь те, кто открыто одобрял и активно поддерживал национал-социализм.

В 1936 году с согласия Бломберга было введено обязательное изучение национал-социализма во всех военноучебных заведениях. Затем последовал приказ военного министра, запрещающий военнослужащим жениться на женщинах «неарийского» происхождения, и т. д. и т. п. Такая двойственность в действиях Бломберга не могла способствовать росту его популярности в армейских кругах. Наоборот, с каждым годом она неуклонно падала. Если раньше за свой ярко выраженный надменный вид истого пруссака Бломберг был известен среди офицеров под прозвищем «Зигфрид с моноклем», то теперь его почти в открытую иронически называли «Надувной лев» или же «Мальчик из гитлерюгенда». Недовольство Бломбергом и его пронацистской политикой в армии охватило и большинство генералов. Дело дошло до того, что в конце 1937 года генералитет, возглавляемый В. фон Фричем (главнокомандующий сухопутными войсками) и Л. Беком (начальник Генерального штаба), потребовал отставки Бломберга. В целом же в 1933—1937 годах Бломберг внес большой вклад в дело воссоздания военной мощи Германии, утраченной после поражения в Первой мировой войне, и явился одним из основных создателей вермахта.

Гитлер высоко оценил его заслуги на этом поприще. 20 апреля 1936 года Бломбергу первому из военачальников Третьего рейха было присвоено звание генерал-фельдмаршала. Успешная деятельность Бломберга в этот период во многом объясняется тем, что он делал то, что от него требовал Гитлер. Гитлер в это время еще не был диктатором и нуждался в поддержке Бломберга, за которым стояла армия. Гитлер пока еще считался с мнением своих генералов и не вмешивался в сферу их деятельности.

Но с 1936 года отношения между Гитлером и его военным министром начали ухудшаться. Бломберг и раньше уже раздражал Гитлера своими неофициальными высказываниями против антисемитизма. Однако когда весной 1936 года Бломберг выступил против ввода немецких войск в демилитаризованную по условиям Версальского договора Рейнскую область, ссылаясь на неготовность вермахта к войне, терпению Гитлера пришел конец. Он открыто обвинил Бломберга в трусости, презрительно заметив, что главнокомандующий ведет себя как «истеричная девица». Решение о вводе войск в Рейнскую область, несмотря на все заклинания Бломберга, Гитлер так и не отменил. В том же году Бломберг выступил против вмешательства Германии в гражданскую войну в Испании. И снова Гитлер отверг все его доводы. Летом 1937 года Бломберг издал секретную директиву о разработке плана ведения Германией войны на два фронта. Разработанный Генеральным штабом план предусматривал 2 варианта действий — сосредоточение основных усилий на Западе (план «Рот») или на Юго-Востоке (план «Грюн»). Когда на совещании 5 ноября 1937 года Гитлер объявил о своем решении провести аншлюс Австрии и оккупацию Судетской области, Бломберг, поддержанный В. фон Фричем, выступил против этого. Однако Гитлер, как и прежде, отверг все их аргументы. В декабре 1937 года Бломберг одобрил план «Грюн» (ведение военных действий против Чехословакии), после чего его отношения с Фричем резко обострились. Выше уже говорилось о демарше генералов Фрича и Бека в отношении Бломберга.

12 января 1938 года Бломберг женился на 24-летней стенографистке Еве Грун. Активное содействие ему в этом оказал его подчиненный главнокомандующий люфтваффе Г. Геринг, лично исходатайствовавший у Гитлера разрешение на брак своего начальника с молодой и смазливой девицей, родившейся и выросшей в рабочем предместье Берлина. «А почему, собственно, фельдмаршал не может жениться на девушке из рабочего класса? — патетически восклицал «наци № 2», одобряя выбор Бломберга. — В этом и состоит суть национал-социализма!» Свадьба прошла скромно, в частной обстановке. Свидетелями на брачной церемонии со стороны жениха были Гитлер и Геринг. Сразу же после свадьбы Бломберга на стол полицей-президента Берлина графа В. фон Гельдорфа легло досье, поступившее из криминальной полиции, из которого следовало, что девица Грун как проститутка уже давно состоит на учете в полиции; проституцией занимается с юных лет, а в последнее время снималась в качестве фотомодели для порнографических открыток. Пораженный такой новостью начальник столичной полиции лично поехал в Военное министерство к Бломбергу, но его на месте не оказалось, и он передал досье начальнику Военного управления генералу В. Кейтелю, посоветовав уничтожить его. Однако Кейтель не решился на это. Он попросил Гельдорфа отдать досье Герингу, хорошо зная, что тот является заклятым врагом Бломберга. Давно завидовавший Бломбергу и мечтавший занять его место Геринг решил воспользоваться удобным моментом, чтобы одним ударом свалить своего соперника. 24 января он вручил Гитлеру злополучное досье и потребовал отставки Бломберга. В тот же день Геринг лично известил Бломберга об имеющемся против него компромате. Фельдмаршал был шокирован этим известием и тут же изъявил готовность развестись с молодой женой. Но Геринг заявил, что этого недостаточно, верховное командование вермахта требует его отставки и у него нет выбора, кроме как подчиниться этому требованию (Геринг несколько упреждал события, на этот момент таких данных у него еще не было, но то, что генералитет его поддержит, он не сомневался). Верхушка генералитета, возглавляемая Фричем и Беком, от имени армии поддержала требование Геринга. Гитлер был вынужден уступить и 26 января уволил Бломберга в отставку. На следующий день, прощаясь с фельдмаршалом, фюрер посоветовал ему на время покинуть Германию, пока скандал вокруг его имени не уляжется. «Как только час Германии пробьет, вы снова будете рядом со мной, и все, что случилось в прошлом, будет забыто», — заверил он Бломберга.

Отставной фельдмаршал отправился в кругосветное путешествие, получив от Гитлера на это турне 50 тыс. рейхсмарок. Учитывая прежние заслуги Бломберга, фюрер приказал выплачивать ему пожизненно фельдмаршальское жалованье. При отставке Бломберг рекомендовал Гитлеру назначить на пост военного министра и главнокомандующего вермахтом Геринга, но тот с ходу отверг эту кандидатуру. Тогда в пику отвернувшимся от него генералам Бломберг предложил Гитлеру самому занять эти посты. Гитлер не замедлил воспользоваться этим советом.

Реорганизовав руководство вооруженными силами, Гитлер упразднил посты военного министра и главнокомандующего вермахтом, и 4 февраля 1938 года объявил себя верховным главнокомандующим. В качестве рабочего органа при нем на базе Военного министерства был создан штаб Верховного главнокомандующего (OKW — Oberkommando der Wermacht), который возглавил генерал артиллерии В. Кейтель. Таким образом, Гитлер сосредоточил в своих руках все руководство вооруженными силами. Те особые права и преимущества, которыми они пользовались в первые годы Третьего рейха, были аннулированы. Влияние НСДАП в вооруженных силах Германии стало безраздельным.