Довольно скоро отношения между «интеллектуалом» лордом Воаном и «грубияном» Морганом ухудшились, а потом и вовсе стали враждебными. 4 (14) мая ассамблея Ямайки проголосовала за то, чтобы губернатор имел постоянную резиденцию в Сантьяго-де-ла-Веге (Спаниш-Тауне), а генерал-лейтенант — в Порт-Ройяле. При этом лорд Воан должен был получать ежегодное жалованье в размере двух тысяч фунтов стерлингов. Никаких надбавок для его светлости не предусматривалось; одновременно «сэру Генри Моргану за его доброе служение стране» назначили ежегодное жалованье в размере 600 фунтов стерлингов, но только на период его вице-губернаторства. Преемники сэра Генри такой привилегии не должны были иметь. Через два дня постановление ассамблеи было подтверждено Советом Ямайки.

18 (28) мая лорд Воан написал госсекретарю сэру Джозефу Уильямсону письмо с сообщением о текущих делах. Письмо он решил передать «через их общего друга сэра Томаса Линча, которого он будет теперь всегда так называть, поскольку весьма доволен его благоразумным правлением и ведением дел». В письме отмечалось, что сэр Томас лично расскажет госсекретарю о том, что случилось на Ямайке после прибытия Воана на остров, «о несчастном кораблекрушении сэра Генри Моргана и потере грузов Его Величества, вызванных непрофессиональным управлением и умышленным нарушением его [Воана] точных письменных предписаний, о его [Моргана] поведении и слабости, проявленной на заседаниях ассамблеи; каковые, наряду с другими глупостями, так надоели ему [Воану], что он совершенно устал от него».

Губернатор полагал, что для пользы королевской службы Моргана следовало бы отстранить от выполнения обязанностей. Разделение полномочий между губернатором и вице-губернатором, по мнению Воана, стало причиной постоянных склок и вредит делу. О «дурном поведении» Моргана губернатор написал всем министрам двора, «надеясь, что Его Величество и Его Королевское Высочество будут этим весьма возмущены». В конце своего письма лорд Воан отметил, что было бы неплохо, если бы король внес поправку в губернаторские полномочия, разрешив ему в случае отъезда или приближения смерти назначить себе «достойного преемника», каковым мог стать «скорее сэр Томас Линч, нежели кто-либо иной».

В августе близ мыса Негр ил, что у западной оконечности Ямайки, появился корабль флибустьерского капитана Джона Эдмундса. Последний решил «завязать» с пиратским прошлым и сдаться властям острова, но хотел иметь гарантии того, что его амнистируют. Через своего приятеля Уильяма Крейна капитан связался с Морганом. 25 августа (4 сентября) сэр Генри написал Эдмундсу ответное послание, заверив капитана, что «ему окажут весьма любезный прием в любом порту и г-н Крейн нарочным сообщит ему, что ему предоставят столько привилегий, сколько он может ожидать от написавшего сии строки».

В начале осени губернатор отправил в Лондон очередную жалобу на своего заместителя. В письме госсекретарю Уильямсону, датированном 20 (30) сентября, лорд Воан отмечал, что, согласно показаниям капитана Напмена, «истинной причиной» крушения корабля «Джамайка мерчент» был сэр Генри Морган. С каждым днем Воан «все больше убеждался в неблагоразумности и непригодности» Моргана заниматься гражданским управлением. По его словам, сэр Генри «так уронил себя и свой авторитет в Порт-Ройяле, предаваясь пьянству и азартным играм в тавернах», что губернатор готов был сам отстранить его от управления делами «ради репутации острова и безопасности этого места».

Однако 6 (16) декабря Уильямсон ответил из Уайтхолла, что он «с сожалением узнал о недоразумениях между его превосходительством и сэром Генри Морганом», и пожелал Воану наладить дружеские отношения со своим заместителем.

15 (25) декабря в Совете Ямайки были зачитаны новые инструкции, полученные из Лондона, согласно которым Моргана следовало ввести в состав совета с принятием соответствующей присяги. Кроме того, Морган был назначен председателем адмиралтейского суда, в состав которого вошли два его заместителя и несколько офицеров. По замечанию Жоржа Блона, свои позиции сэр Генри сохранил «благодаря разъедающей силе золота, откровенному подкупу и интригам».

23 января (2 февраля) 1676 года состоялось очередное заседание Совета Ямайки, на котором присутствовали губернатор, сэр Генри Морган, полковники Джон Коуп, Чарлз Уитфилд и Энтони Коллир, а также подполковники Роберт Биндлосс, Томас Фаллер и Джон Уайт. Среди прочих дел совет рассмотрел рапорт Моргана о «грубых и неприличных словах и поведении» полковника Уильяма Айви по отношению к губернатору «в его собственном доме» и просил, чтобы полковник Айви отчитался о своем поведении перед членами совета на следующем заседании.

Несмотря на рекомендации государственного секретаря Уильямсона, предлагавшего лорду Воану найти возможность помириться со своим заместителем и действовать «в одной упряжке», конфликт между двумя высшими должностными лицами Ямайки продолжал тлеть, то затухая, то разгораясь с новой силой. 2 (12) февраля Морган писал Уильямсону:

«Благородный сэр,

ваше письмо от 16 июля теперь у меня, за которое, как и за все прочие ваши любезности, я покорнейше благодарю вашу честь так, как только преданное и обязанное сердце может сделать. Мне очень жаль, что я не смог ответить на ваши срочные распоряжения; ибо, по правде сказать, имея мало возможностей управлять, я не мог дать вашей чести полный отчет о состоянии острова, осмотреть который Его превосходительство [лорд Воан] пока не позволяет мне… Но если ваша честь сочтет сие возможным, я думаю, что для пользы службы Его Величества мне надо разрешить получать его приказы через вашу честь. Тогда я смогу приложить все мои усилия, дабы удовлетворить вас в оном…

Ваш послушный и покорный слуга

Генри Морган.

Ямайка, Порт-Ройял, 2 февраля 1675/6 года».

Спустя три недели видный ямайский общественный деятель и плантатор Питер Бекфорд писал Уильямсону, что на острове по-прежнему существуют «определенные разногласия» между лордом Воаном и сэром Генри Морганом, но не взял на себя смелость определить, кто же из них виноват в этом. Бекфорд также сообщил, что губернатор переехал из Спаниш-Тауна в Порт-Ройял, чтобы лично препятствовать выходу оттуда флибустьеров и приобретению ими французских каперских свидетельств. Воан не сомневался, что флибустьеры, околачивавшиеся в Порт-Рояйле, пользовались тайной поддержкой Моргана и Биндлосса.

2 (12) мая, отвечая на письмо госсекретаря Уильямсона, ямайский губернатор уверял последнего, что не питает к Моргану «личных антипатий, но стремится добросовестно выполнять свой долг». Именно поэтому он высказал свое мнение относительно потери королевского имущества во время крушения судна «Джамайка мерчент», отметив, что это случилось из-за ошибки Моргана. Воан уверял, что хотя Морган «написал о нем много ложных и вредоносных пасквилей», он не опустится до того, чтобы мстить ему. «Больше всего меня возмущает то — и я считал своей обязанностью сообщить об этом вашей чести, — что сэр Генри, вопреки долгу и оказанному ему доверию, восхваляет приватирство и ставит преграды всем моим планам и намерениям сократить число тех, кто избрал эту проклятую жизненную стезю».

Губернатор издал несколько прокламаций, в которых открыто заявил, что не допустит грабежей и хищений и будет преследовать нарушителей закона как пиратов, если они осмелятся прийти «в любой из наших портов». По его словам, многие флибустьеры ушли из Порт-Ройяла на Тортугу, где приобрели французские каперские свидетельства, «а сэр Генри рекомендовал некоторых из наших английских приватиров французскому правительству для получения каперских грамот, имел собственный интерес в их судах, передал полномочия своему брату [свояку] Биндлоссу на получение десятины для короля Франции и с тех пор поддерживает с ними связь». Воан заподозрил Моргана в том, что он хотел спасти от виселицы пирата Джона Дина, капитана судна «Сент-Дэвид»; поэтому, явившись в адмиралтейский суд, губернатор своей властью добился осуждения обвиняемого.