На следующий день, 10 августа, Наполеон написал морскому министру Декре:

Передайте вице-адмиралу Вильнёву, что я надеюсь на то, что он продолжит свою миссию, и что будет очень позорно для императорской эскадры, если трехчасовая стычка с 14 кораблями противника заставит ее пропустить такое великое предприятие.

Итак, Вильнёв должен был, с одной стороны, соединиться с кораблями Аллемана, а с другой стороны, не терять времени и продолжать движение в Ла-Манш. Но Аллемана все не было видно, и Вильнёв отправил ему навстречу фрегат «Ля Дидон».

Вильнёв прождал корабли Аллемана в Ля-Корунье до 11 августа, но так и не дождался их. За это время англичане сумели собраться с силами и перегруппироваться. 14 августа французские наблюдатели заметили фрегат «Ля Дидон», без мачт и в окружении захвативших его британских кораблей. Стало ясно, что никакого Аллемана ему найти не удалось. 15 августа капитан одного датского торгового судна рассказал французам, что видел, что к Ля-Корунье движется еще около 25 британских военных кораблей.

Теперь двигаться в Ла-Манш всего с 29 кораблями, из которых 11 были испанскими, стало чрезвычайно опасно. Вильнёв писал об этом морскому министру вице-адмиралу Декре, упирая на то, что испанцы могли вести бой только в линию, а это было уже «тактикой вчерашнего дня». Кроме того, Вильнёв сообщал, что состояние кораблей после многомесячного плавания критическое, ветры неблагоприятны, и у него не остается других вариантов, как возвращаться в Средиземное море.

Наполеон был в бешенстве. Уже 13 августа он писал морскому министру Декре:

Засвидетельствуйте адмиралу Вильнёву мое недовольство тем, что он теряет такое драгоценное время. Я надеюсь, что очень скоро ветры помогут ему выйти в море, и он сделает это. Матросы храбры, капитаны воодушевлены, гарнизоны многочисленны; не нужно разрушать себя бездействием и упадком духа.

Вильнёву Наполеон в тот же день писал следующее:

Я с удовольствием отмечаю по итогам боя 3 Термидора, что многие из моих кораблей проявили себя отважно, чего я и должен был от них ожидать. Я вам признателен за прекрасный маневр, который вы произвели и который дезориентировал противника. Мне хотелось бы, чтобы вы использовали больше своих фрегатов для помощи испанским кораблям, которые, будучи первыми втянуты в дело, очень нуждались в этом. Также я хотел бы, чтобы на следующий день после боя вы не дали бы времени противнику отвести в безопасное место свои корабли "Виндзор-Кастл" и "Мальта", а также два испанских корабля, которые, будучи разоруженными, двигались с большим трудом. Это придало бы моему оружию блеск большой победы. Медлительность маневра дала время англичанам для отхода в их порты. Но я склонен думать, что победа осталась за нами, так как вы вошли в Ля-Корунью. Надеюсь, что это письмо не застанет вас там, что вы уже движетесь на соединение с капитаном Аллеманом, чтобы смести все на своем пути и прибыть в Ла-Манш, где мы с беспокойством ожидаем вас. Если вы этого еще не сделали, сделайте; смело идите на противника.

Еще через восемь дней, 22 августа, Наполеон в своем письме морскому министру Декре возмущался:

Я думаю, что у Вильнёва нет необходимого характера даже для того, чтобы командовать фрегатом. Это человек, лишенный решимости и храбрости.

Декре, по всей видимости, передал эти слова императора Вильнёву. Тот с сожалением ответил:

Если Его Величество думает, что для успеха на флоте нужны только отвага и характер, мне не о чем больше говорить.

В тот же день, 22 августа, император просто умолял Вильнёва:

Господин вице-адмирал Вильнёв, я надеюсь, что вы уже в Бресте. Выходите, не теряйте ни минуты и входите с моими эскадрами в Ла-Манш. Англия наша. Мы полностью готовы, все уже погружено на корабли. Прибудьте в двадцать четыре часа, и все будет кончено.

Но Вильнёв не мог идти в Ла-Манш: с его малочисленной и ослабленной эскадрой это было бы безумием.

Поняв, наконец, тщетность своих ожиданий и вообще всего своего предприятия по высадке десанта в Англии, Наполеон 3 сентября покинул Булонский лагерь, двинув собранную там Великую армию в сторону Рейна.

Как отмечает известный исследователь военных кампаний императора Дэвид Чандлер, «окончательное решение было принято 25-го. В тот же день из императорской ставки вышли приказы, согласно которым вторжение в Англию откладывалось на неопределенное время».

В своем письме морскому министру Декре от 4 сентября 1805 года Наполеон излил все свое негодование поведением Вильнёва:

Господин Декре, адмирал Вильнёв переполнил чашу моего терпения; он отдал, выходя из Виго, приказ капитану Аллеману идти в Брест, а вам он пишет, что собирается идти в Кадис. Это же предательство. Этому нет другого названия. Предоставьте мне рапорт о всей экспедиции. Вильнёв — это ничтожество, которое нужно с позором изгнать. Лишенный храбрости, лишенный общей цели, он готов пожертвовать всем, чтобы спасти свою шкуру. Ничто не может сравниться с глупостью Вильнёва. Я требую отчет о всех его операциях. 1° Он запаниковал и не высадил на Мартинике и Гваделупе 67-й полк и войска, которые были на борту адмирала Магона; 2° Он подвергнул риску наши колонии, отправив лишь на четырех фрегатах 1200 человек элитных гарнизонов; 3° Он трусливо провел бой 3-го числа, не атаковав вновь разбитую эскадру, тащившую два корабля на буксире; 4° Войдя в Ферроль, он оставил море адмиралу Калдеру, ждавшему эскадру из 5 кораблей и не крейсировавшему перед Ферролем до подхода этой эскадры; 5° Он был извещен о том, что вражеские корабли тащили на буксире фрегат "Ля Дидон", и даже не вывел свои корабли, чтобы отбить его; 6° Он вышел 26-го, но вместо того, чтобы идти в Брест, он направился к Кадису, нарушив все инструкции. Наконец, он знал, что эскадра капитана Аллемана должна прийти 25 Термидора в Виго для получения приказов, но 26-го снялся с якоря, не передав новых приказов этой эскадре, а, напротив, оставил в Ферроле другие инструкции, подвергавшие опасности эту эскадру, так как она получила приказ идти в Брест, тогда как он, Вильнёв, шел в Кадис.

На первый взгляд, возмущение Наполеона действиями Вильнёва вполне понятно. Но это — только на первый взгляд. На самом деле, в этом разгромном письме есть как минимум два странных момента, которые сразу бросаются в глаза. Во-первых, морской бой у мыса Финистерре, который еще совсем недавно трактовался Наполеоном, как вполне успешный, теперь почему-то называется трусливым, а во-вторых, приказ двигаться в Кадис — не сам ли Наполеон отдал его совершенно задерганному противоречивыми распоряжениями Вильнёву? Во всяком случае, не является секретом документ, в котором черным по белому Вильнёву предписывалось «осуществить мощную диверсию, направив в Средиземное море морские силы, собранные в Кадисе». А для этого ему приказывалось, «сразу же по получении настоящего, воспользоваться первой же возможностью, чтобы направиться в это море». Точку в этом вопросе ставит историк Виллиан Слоон, утверждающий, что решение идти в Кадис было принято, «согласно с разрешением, содержавшимся в императорской инструкции».