В течение трех недель французы ожидали выхода из гавани какого-нибудь судна. Наконец однажды утром они заметили паруса трех голландских судов. Фонтенэ тут же вступил в бой с самым крупным из них (грузоподъемностью 1400 тонн), надеясь, что Форан поддержит его. Но тот не отважился напасть на два других голландских судна. В разгар сражения Фонтенэ погиб, сраженный ядром. Тем не менее его людям удалось взять голландский адмиральский корабль на абордаж. Прибыв на борт флагмана, Форан убедился в гибели своего начальника и заявил, что все, кто хочет вернуться на родину, должны немедленно следовать за ним. Некоторые солдаты и моряки перешли на его судно, оставив остальных биться с численно превосходившими их голландцами. В это время два других голландских судна, видя, что Форан уходит, бросились на помощь своему адмиралу. Корабль Фонтенэ был захвачен. Голландский адмирал сначала хотел утопить всех уцелевших во время боя французов, но, испытывая недостаток в людях — погибло более 60 голландских моряков, — решил с помощью пленных пополнить свой экипаж.

Очевидцем описанных выше событий был Акарете Бискайский, автор «Отчета о путешествии вверх по реке Ла-Плата, а затем по суше — в Перу». В этом сочинении он сообщает. «Мы отплыли [из Кадиса] примерно в конце декабря 1657 года на корабле водоизмещением 450 тонн и на 105-й день достигли устья реки Ла-Плата, где встретили французский фрегат под командованием капитана Форана и, после непродолжительного боя с ним, оторвались от него и продолжили наш путь, пока не достигли Буэнос-Айреса, где обнаружили 22 голландских корабля и среди них — 2 английских; они были нагружены бычьими шкурами, серебром и испанской шерстью, полученными в обмен на их товары; через несколько дней 3 голландских корабля, покинув рейд, встретили капитана Форана и еще один фрегат, называвшийся «Марешаль», которым командовал шевалье де Фонтенэ; после жестокой стычки голландцы абордировали и захватили «Марешаль», предав мечу всех его людей, в том числе и шевалье».

Можно только догадываться, как в дальнейшем развивалась бы история антильского флибустьерства, если бы Испания смогла сохранить за собой контроль над Тортугой. Однако 13 сентября 1654 года король Филипп IV назначил новым губернатором Санто-Доминго дона Бернардино де Менесеса Бракамонте-и-Сапату, графа Пеньяльбу, которому вскоре было поручено отозвать с Тортуги испанский гарнизон, «разрушить все фортификации, большие и малые, не оставив камня на камне, вернуть в Санто-Доминго всю артиллерию… и запереть гавань Тортуги, затопив в двух ее проходах несколько старых кораблей и барок, нагруженных камнем». Этот, казалось бы, странный указ объяснялся тем, что испанской короне стало известно о готовящейся в Англии военной экспедиции, целью которой было завоевание всех испанских владений в Вест-Индии. Удерживать Тортугу стало менее насущной задачей, чем усиление обороноспособности Санто-Доминго.

Прежде чем приступить к эвакуации испанского гарнизона с Тортуги, граф Пеньяльба 11 июня 1655 года написал экс-губернатору Эспаньолы дону Хуану Франсиско Монтемайору письмо, в котором интересовался его мнением относительно целесообразности сохранения бывшего пиратского гнезда под испанским контролем На следующий день Монтемайор отправил графу пространный ответ. Его мнение было однозначным: если французы или англичане снова займут Тортугу и восстановят ее статус крупной флибустьерской базы, испанской торговле в Вест-Индии будет нанесен невосполнимый ущерб. Кроме того, враг получит возможность использовать Тортугу в качестве плацдарма для завоевания Эспаньолы и других испанских колоний в бассейне Карибского моря.

Пеньяльба не разделял опасений Монтемайора Он полагал, что в связи с английским завоеванием Ямайки (а это печальное для испанцев событие произошло в мае 1655 года) более насущной проблемой становится укрепление обороны Санто-Доминго. Поэтому 26 июня он подписал приказ об эвакуации испанского гарнизона с Тортуги. Бальтасар Кальдерой должен был немедленно погрузить на суда всю артиллерию форта Ла-Рош и вывезти ее в Санто-Доминго. Однако выполнить этот приказ было невозможно из-за отсутствия погрузочных средств и ввиду твердой уверенности Кальдерона в том, что уход испанцев из Бастера — форменное безумие. Разделяя точку зрения Монтемайора, он пытался доказать Пеньяльбе и чиновникам в Испании, что для обеспечения безопасности испанских владений в Вест-Индии Тортугу «было бы очень выгодно сохранить… ибо в то время, когда ее заселяли враги-французы, имели место многие грабежи и нанесение ущерба торговле Гаваны, Кампече, Ямайки, Веракруса, Кубы, Картахены, Портобело и Тьерра-Фирме».

4 августа губернатор Эспаньолы повторил свой приказ, присовокупив к нему поучение, как захоронить пушки, если нет возможности погрузить их на суда. После этого капитан Кальдерой и его солдаты не стали мешкать: не разрушив до основания форт, не вывезя с острова всю артиллерию и не затопив у входа на якорную стоянку старые корабли, они покинули Тортугу. Правда, перед самым уходом Кальдерой оставил на берегу два послания, датированные 25 августа 1655 года и написанные на испанском и ломаном английском языках. В них «капитан и сержант-майор дон Бальтасар Кальдерон-и-Эспиноса» сначала рассказал, как он разбил мальтийского рыцаря Тимолеона Отмана де Фонтенэ, снес крепость и разрушил все дома, а затем предупредил, что все, кто рискнет вновь прийти на Тортугу с целью поселения, будут преданы мечу без всякой пощады. 26 февраля 1656 года эти письма доставил на Ямайку шкипер небольшого английского судна, незадолго до этого посетивший Тортугу.

Преемник Пеньяльбы граф Феликс де Суньига 3 декабря 1656 года с нескрываемым сожалением писал королю, что в то самое время, когда солдаты его величества покидали гавань Тортуги, туда с другой стороны вошла барка французских пиратов. Не исключено, впрочем, что испанцы приняли за французов англичан (или же команда судна состояла из представителей нескольких национальностей).

Согласно данным дю Тертра, после ухода испанцев с Тортуги на остров пожаловал «некий английский джентльмен, имя которого было Элиас Уорд». В действительности его звали Элиас Уотте Он обосновался в Бастере со своей семьей и десятью или двенадцатью солдатами.

«Некоторые [французские] буканьеры рассказывали мне, — пишет дю Тертр, — что он оставил Ямайку с намерением найти какое-нибудь место, пригодное для основания колонии, начальником которой он хотел быть, и что, найдя остров Тортугу покинутым испанцами, он здесь поселился, а затем получил жалованую грамоту от генерала Ямайки. Но месье д'Ожерон утверждал, что он обосновался на Тортуге с жалованой грамотой генерала Ямайки еще до ухода испанцев, и мне это кажется весьма вероятным… После ухода испанцев он побывал на Ямайке, чтобы привезти людей, и поскольку многие французы и англичане присоединились к нему, он сформировал колонию из примерно ста или ста двадцати человек, признанным начальником и губернатором коих он был, хотя и при весьма малом подчинении, как это было и при всех других, кто претендовал на какую-то власть на этом острове после ухода испанцев — до того момента, пока месье д'Ожерон не получил королевское пожалование как для Берега Сен-Доменг, так и для острова Тортуга»».