Места для мирной профессии бухгалтера в разоренной войной России не было, и Ф. И. Толбухин устроился работать в созданную, согласно Декрету СНК, сеть комиссариатов по военным делам, возглавив волостной военкомат, занимавшийся учетом, подготовкой и призывом военнообязанных. В 1919 г. окончил школу штабной службы. На штабной работе в составе 56-й стрелковой дивизии Толбухину пришлось поучаствовать и в Гражданской войне. Сначала он воевал в районе Белоруссии на Польском фронте, получив в августе 1920 г. «за отличия в боях против врагов социалистического Отечества» орден Красного Знамени, а вторым (и последним) боевым эпизодом Гражданской войны для него стала борьба против белофиннов за Советскую Карелию. За самоотверженную работу на должности начальника оперативного управления штаба Карельского района Ф. И. Толбухин был награжден также грамотой, знаком «Честному воину Карельского фронта» и ценными подарками. В период мирного строительства армии Ф. И. Толбухин неспешно продолжил свое продвижение по служебной лестнице – в 1926 г. окончил Высшие академические курсы при Военной академии им. Фрунзе, в 1930 г. – Курсы усовершенствования начальствующего состава, а в 1934 г. – оперативный факультет Военной академии имени М. В. Фрунзе. После десятилетия на должности начальника штаба стрелковой дивизии, в ноябре 1930 г. он стал начальником штаба стрелкового корпуса. В 1938 г. комбриг Толбухин стал начальником штаба Закавказского военного округа. С тех пор и до самой смерти судьба Ф. И. Толбухина была тесно переплетена с южными рубежами нашей Родины.

Прибытие маршала Толбухина в Бухарест, как председателя Союзной Контрольной Комиссии. Румыния, Бухарест, 1945 г.

С началом Второй мировой войны СССР стал готовиться к активной обороне на всех участках своих протяженных границ. По воспоминаниям служившего тогда в Генштабе С. М. Штеменко, «…осень 1940 и зиму 1941 года пришлось потратить на тщательное изучение и военно-географическое описание Ближневосточного театра. С марта приступили к разработке командно-штабных учений в Закавказском и Среднеазиатском военных округах, намеченных на май… Фронтом командовал заместитель командующего войсками округа генерал-лейтенант П. И. Батов. Обязанности начальника штаба фронта выполнял генерал-майор Ф. И. Толбухин».

Результаты этих учений были использованы в следующем году в ходе совместной англо-советской операции по оккупации Ирана с 25 августа 1941 г. по 17 сентября 1941 г. С советской стороны общее руководство операцией осуществлял генерал-лейтенант Д. Т. Козлов – командующий Закавказским фронтом, начальником штаба был Ф. И. Толбухин. В составе операции приняли участие 44-я, 45-я, 46-я, 47-я общевойсковые армии Закфронта, также фронту на время операции были приданы 53-я общевойсковая армия из состава Среднеазиатского военного округа и Каспийская военная флотилия. В то время как 45-я и 46-я армии прикрывали границы с Турцией, а 44-я и 53-я армии – советско-иранскую границу. Первый удар наносила 47-я армия, успех наступления которой развили 44-я и 53-я армия. С британской стороны во вторжении участвовали: 1-я танковая бригада, 3 пехотные дивизии и 1 пехотная бригада. Иранцы смогли противопоставить союзникам 3 дивизии на севере и 2 – на юге. Корабли Каспийской флотилии поддерживали действовавшие вдоль побережья войска, а 26 августа провели десантную операцию, в ходе которой у селения Хеви южнее города Астара были высажены 2500 человек из состава 105-го горнострелкового полка.

Несмотря на удобные оборонительные позиции, иранские войска оказывали незначительное сопротивление. Вскоре после начала ввода в Иран войск союзников произошла смена кабинета министров правительства Ирана. Новый премьер-министр Ирана отдал приказ о прекращении сопротивления, а на следующий день этот приказ был одобрен иранским парламентом. Уже 29 августа 1941 г. вооруженные силы Ирана сложили оружие перед англичанами, а 30 августа – перед Красной Армией. 8 сентября 1941 года было подписано соглашение, определявшее расположение союзнических войск на территории Ирана. Соглашение вступило в силу 9 сентября 1941 г. Фактически Иран был разделен на две оккупационные зоны, на британскую – южную, и на советскую – северную. Тегеран потерял политический и экономический контроль над страной. В годы Второй мировой войны СССР активно использовал полученные запасы продовольствия и нефтепромыслы, а также возникшую советско-британскую границу для получения поставок по ленд-лизу.

Эта операция была проведена хирургически точно, в первые дни военной горячки, когда на западе немцы неудержимо рвались вперед… А здесь, на территории Закавказья, военная машина работала бесперебойно, кадрированные в мирное время части четко разворачивались, адекватно укомплектовывались и безукоризненно выполняли боевые задачи. В считанные часы СССР смог вместе с Британией разделить и занять обширное государство, причем сделать это под боком отнюдь не дружественно настроенной Турции. Успех этой молниеносной и четкой работы военного механизма Закавказского фронта в немалой степени был обеспечен талантом и трудом начальника штаба Ф. И. Толбухина.

В дальнейшем Ф. И. Толбухин оставался на должности начальника штаба Закавказского фронта, преобразованного в декабре 1941 года в Кавказский фронт, а в январе – марте выделившегося из Кавказского фронта Крымского фронта. Войска фронта во взаимодействии с Черноморским флотом и Азовской флотилией с 25 декабря 1941 г. по 2 января 1942 г. провели крупную десантную операцию с целью овладения Керченским полуостровом и создания условий для освобождения Крыма. Замысел операции предусматривал одновременную высадку войск в районы Керчи и Феодосии, окружение и уничтожение группировки противника. Толбухин внес большой вклад в планирование, организацию и обеспечение этой сложнейшей операции, в осуществление взаимодействия с силами флота и авиации, в управление войсками в ходе операции. К исходу 2 января 1942 г. войска Кавказского фронта очистили от врага Керченский полуостров. Это позволило отвлечь часть сил противника от Севастополя, предотвратить вторжение немецко-фашистских войск на Кавказ через Таманский полуостров, овладеть важным оперативным плацдармом в Крыму. По словам одного из ведущих военных теоретиков современной России генерала армии М. А. Гареева, «вследствие недостаточности твердости командующего фронтом Д. Т. Козлова, произвола и некомпетентного вмешательства представителя Ставки ВГК Л. З. Мехлиса, управление войсками фронта было дезорганизовано. Мехлис, охаивая командование и штаб фронта, обратился к Сталину с просьбой прислать в Крым кого-либо из генералов типа Гинденбурга, не понимая того, что Гинденбург или Жуков, прибыв на этот фронт, первым делом потребовали бы убрать всякого рода мехлисов. Попытки Толбухина придать хоть какую-то плановость и организованность работе командования и штаба фронта привели к обострению отношений со своенравным Мехлисом. В результате Толбухин в марте 1942 г. был отстранен от должности и назначен заместителем командующего Сталинградским военным округом. Как и следовало ожидать, нарушение единоначалия и ряд других ошибок оперативного характера привели в мае 1942 г. войска Крымского фронта к страшной катастрофе».