2 июля Бернадот приступил к исполнению своих обязанностей. С собой в министерство Жан Батист взял своих старых друзей и единомышленников: Жерара, Мэзона, Морэна, Сарразэна. Свояки Жозеф и Люсьен предприняли попытку продвинуть на ключевые посты военного ведомства своих людей с Корсики, но новый министр отбил все их атаки и сохранил за собой полную свободу действий. Если он кому и симпатизировал после переворота, то это были якобинцы типа Журдана, Ожеро и Шампионне.

На посту военного министра Бернадот пробыл всего два с половиной месяца. Что же удалось ему сделать за такое короткое время? Наполеон считал его деятельность сумбурной и дилетантской и что "…он делал только ошибки, ничего не организовал, и Директория была вынуждена удалить его с поста". Поль де Баррас, не самый жаркий почитатель Бернадота, придерживался на этот счёт другого мнения: "Бонапарт хочет принизить всё, чему он обязан Бернадоту. Он и его армия годами жили за счёт того, что он сделал за несколько месяцев…" Апологеты Карла XIV Юхана оценивают эту деятельность в самых хвалебных выражениях. Современные историки тоже полагают, что деятельность Бернадота как военного министра была полезной и честной, и этого нам вполне достаточно. Судить о её эффективности трудно, потому что плоды его трудов могли проявиться не сразу, а года через полтора-два. Но к тому времени на его месте были уже другие министры, в том числе недруг Бертье.

По мнению немецкого историка А. Имхофа, стиль работы нового военного министра был похож на стиль работы Л. Карно. Бернадот вставал каждый день в три часа утра и отправлялся на работу. В 4.00 он был уже на месте и работал до 19.00–20.00. От своих подчинённых он требовал работы с семи часов утра до десяти часов вечера. Тех, кто не справлялся со своими обязанностями или не выдерживал такой нагрузки, он нещадно увольнял. С первых же дней новый министр повёл жесточайшую войну с казнокрадами, ворами, взяточниками и прочими нечестными чиновниками, засевшими в министерстве. Он вступил в войну с бюрократией и пытался сделать так, чтобы все дела и бумаги были разобраны и на все входящие письма были даны ответы не позже суток после их поступления. Он потребовал от казны предоставить ему наличные денежные суммы, приступил к закупкам одежды и обмундирования и стал наводить порядок в интендантствах.

Дома после работы он почти всегда заставал у себя Жозефа с женой, но старший Бонапарт явно ошибался, если думал, что свояк будет плясать под дудку корсиканцев. Уже через месяц, 6 августа, он представил Директории доклад, содержавший анализ положения страны, состояния армии и перечень мер, которые было необходимо принять. Лейтмотивом доклада стало восстановление мощи армии, её удовлетворительное снабжение, вооружение и обучение.

Министр отправил в действующую армию на Рейн и в Италию линейные полки, которые трусливая Директория, опасаясь за свою власть и жизнь, стянула внутрь страны. Он установил тесный и перманентный контакт с властями в департаментах страны, вступил с ними в постоянную переписку, а когда и где было нужно, выезжал на места сам и своими зажигательными речами всегда способствовал успеху того или иного предприятия. В газетах Франции в этот период регулярно появлялись распоряжения военного министра, его приказы, памфлеты и статьи. Своей агитацией он хотел возбудить в стране старый якобинский дух, который увял за годы Директории.

Фронты получили в это время примерно 100-тысячное подкрепление. Когда Бернадот покидал свой пост, французская армия в целом, включавшая Рейнскую, Дунайскую, Альпийскую, Итальянскую и Английскую армии, насчитывала около 430 тысяч человек, из которых примерно половина находилась на фронтах. Новый министр практически реорганизовал все рода войск и сумел вдохнуть в разложившуюся армию новый дух. Он планировал реформировать систему снабжения армии, но не успел. Он вернул талантливого Жубера на пост главнокомандующего Итальянской армией и расставил также на руководящие должности Брюна, Моро и Шампионне.

К заслугам Бернадота как министра принадлежит спасение им от смертной казни более 2 тысяч участвовавших в беспорядках жителей Тулузы. К нему как-то пришёл министр юстиции и спросил, как следовало поступить с теми тулузцами, вина которых была не так уж велика.

— Отпустите их, — ответил военный министр.

Министр юстиции собрался уже уходить, но остановился в дверях и спросил:

— А что делать с теми, кого взяли с оружием в руках?

— Если они пустили оружие в ход, то единственным наказанием для них может быть лишь поступление на службу в армию, — ответил Бернадот. — Всех прочих отпустите домой.

Во время работы Бернадота в военном министерстве был случайно раскрыт роялистский заговор. Заговорщики послали пробное письмо Баррасу, но оно по ошибке попало к Сиейесу. Т. Хёйер описывает попытку вовлечения военного министра в якобинский заговор, когда к нему в сентябре 1799 года явилась депутация якобинских лидеров, обеспокоенных действиями министра полиции Фуше, направленными против их партии. Депутацию возглавляли Журдан, Ожеро и Саличетти. Они обвинили Барраса, Сиейеса и Фуше в узурпировании власти и попрании конституции и предложили Бернадоту войти в заговор и арестовать членов Директории. В новом якобинском правительстве Бернадоту была предложена ведущая роль. По воспоминаниям Сарразэна, Бернадот, Ожеро и Журдан должны были стать консулами, а сам мемуарист — военным министром. Бернадот тогда якобы отказался участвовать в "незаконном" заговоре, но заявил, что, как только сложит с себя обязанности военного министра, употребит всё своё влияние в армии на то, чтобы способствовать претворению якобинских планов в жизнь. Как конкретно он имел в виду способствовать "претворению якобинских планов" — путём военного переворота или захвата власти в парламенте, — не совсем ясно. Сарразэн утверждает, что Бернадот донёс о заговоре Баррасу и Сиейесу и тем самым сорвал замыслы заговорщиков. В своих поздних мемуарах кораль Карл XIV Юхан вспоминает, что в бытность свою военным министром Франции взвешивал возможность ограничить состав Директории тремя членами. Уж не отголоски ли это якобинского заговора?

В щекотливое положение попал Бернадот и в другой раз, когда скрывавшийся в Париже принц Энгиенский пришёл к нему и под обещание будущих почестей, власти и богатства попросил помочь ему укрыться от преследования Директории. Бернадот, сославшись на присягу Республике, порекомендовал принцу немедленно уехать из Парижа, ибо в противном случае он будет вынужден отдать приказ о его аресте. Военный министр в данном случае не хотел рисковать своей карьерой, считая момент для переворота слишком неудачным. "Если Франции суждено стать монархией, то я подчинюсь власти событий, но это буду не я, кто вызовет их", — якобы заявил он принцу. Бернадот не принадлежал к людям, способным поставить всё на одну карту, как это делал, к примеру, Наполеон.

Бернадот колебался. Мешала ли ему сделать выбор приверженность к конституции, законности и порядку? Или главной причиной была его природная осторожность и нерешительность? Как бы то ни было, но он оставлял двери открытыми и для роялистов, и для их противников.

Уходя с поста военного министра осенью 1799 года, он не обогатил свой личный карман ни одним су. Сиейес ревниво следил за деятельным министром, и его личная неприязнь к Бернадоту тоже сыграла свою роль в отставке. "Мы ничего не значим, — как-то съязвил бывший аббат, — никто нас не замечает, правительство состоит из одного только военного министра". Другой раз, услышав речь Бернадота, полную патетики и патриотических призывов, он сказал: "Вон идёт гусь лапчатый, возомнивший себя орлом!" В стране снова поднимали голову якобинцы, и Баррас с Сиейесом боялись, что Бернадот примкнёт к ним и сбросит их в одну ночь на свалку истории. Мнительному аббату всё время чудился Бернадот в образе Каталины.