К середине 1659 года получить землю на берегу гавани для многих желающих стало несбыточной мечтой. Одни участки достались частным лицам, другие были переданы военным кораблям. Каждый из них, очевидно, имел свой участок земли недалеко от места якорной стоянки; там хранили пушки, реи, паруса и товары.

В 1660 году Дойли начал прилагать к земельным пожалованиям письменные контракты, оговаривая в них, что дом необходимо построить на полученной земле в течение определенного срока (например, в течение двух или трех месяцев), иначе пожалование могло быть аннулировано.

По мнению Посона и Бюисере, «курьезной особенностью» строившегося города были названия его улиц. Не позднее сентября 1659 года здесь появились участки, которые идентифицировались как находившиеся «за домом мистера Даррелла в ряду мистера Уоркмана» или «шестьдесят квадратных футов земли в том ряду, где находится дом маршала Уэббинга».

Николас Кин, «пиротехник и землемер Пойнт-Кагуэя», был, очевидно, тем человеком, который составил первый план города. Он занимался указанным проектом до 17 декабря 1661 года, когда замерил для капитана Сэмюэла Бэрри «100 квадратных футов земли в соответствующем месте… на мысе Кагуэй». К несчастью для Кина, купец Джон Мэн во время визита в Англию подал петицию королю Карлу II, в которой просил Его Величество пожаловать ему должность землемера. При этом Мэн ссылался на то, что он «много лет изучал математику и практиковался в искусстве отмерять землю, а теперь ему стало известно, что джентльмен, полностью игнорирующий математику, намеревается просить сию службу для себя». В январе 1661 года Мэну была пожалована должность генерального землемера Ямайки, однако он, по всей видимости, занимался землеустройством на «большой земле», тогда как Кин продолжал исполнять те же обязанности на косе Палисадос.

В феврале 1658 года в Пойнт-Кагуэй из Англии прибыл капитан Кристофер Мингс, который привез деньги «от его превосходительства лорда-протектора» и инструкции, как дальше вести работы по укреплению Ямайки. Часть денег тут же пошла на завершение строительства Форт-Генри в Спаниш-Тауне, часть направили на укрепление восточных рубежей Пойнта, а остаток использовали для финансирования работ в Форт-Кромвеле. Некоторые песчаные и дощатые площадки заменили в нем каменными, и рота капитана ван Алфана была увеличена до 104 человек. К этим силам добавили 92 человека под командованием прапорщика Соэмса и 21 человека под командованием лейтенанта Джозерилла. Солдат разместили в палатках, сделанных Кином из старого грот-паруса «Гектора». Кроме того, к строительству по-прежнему привлекали военных моряков. Так, капитану Джону Ллойду с корабля «Дайемонд» в 1659 году приказали «отправить шестнадцать его людей в Форт-Кромвель, чтобы сменить людей с “Гектора” на тамошних работах».

В течение 1658–1659 годов работы в Форт-Кромвеле шли более энергично. Для перевозки извести, камней, бревен и воды использовали шлюп, галиот, гой (перевозочное судно) и две пироги. Пушки в форте установили на лафеты, сделанные, вероятно, на месте.

Каменную башню в центре форта нередко использовали в качестве тюрьмы; в ней старший маршал (начальник полиции) Уэбблинг содержал преступников. 14 января 1660 года туда посадили некоего Питера Суэйна, пирата, который, «встретив шлюп в море, принадлежавший Хинсу с острова Барбадос, совершил вероломное похищение и грабеж оного, после чего сбыл и обменял товары, взятые на нем, себе на пользу». Уэбблингу приказали «взять названного Питера Суэйна в место заключения и надежно удерживать его в башне до тех пор, пока он будет либо освобожден, либо наказан по закону».

Когда в августе 1660 года в Пойнт-Кагуэй пришли известия о реставрации монархии и возведении на трон Карла II (по-английски — Чарлза II), полковник Дойли тут же переименовал Форт-Кромвель в Форт-Чарлз (первое упоминание нового названия было зафиксировано в его журнале в ноябре).

В сентябре 1660 года состояние дел в Пойнт-Кагуэе было кратко описано капитаном Томасом Линчем:

«[Город] … расположен на крайнем конце мыса, в нем насчитывается около 200 домов, все они построены англичанами, с несколькими общественными домами и тем, в котором постоянно проживает генерал-лейтенант, а также домами, где хранятся все товары для флота и армии.

В этом городе проживают все купцы, иностранцы и моряки, поскольку он является средоточием торговли и наиболее здоровым местом на острове; здесь находят убежище все военные корабли, которые посещают данное место, и из-за этого домá здесь такие дорогие, что обычный дом в этом городе ежегодно обходится в 40 или 60 ф. ст.

На крайнем углу мыса, со стороны моря, имеется круглая башня, построенная из извести и камня, в которой установлены 15 пушек, включая полные пушки, полупушки и полукулеврины из бронзы. Возле этой башни находится здание прочного и правильного форта… способного вместить до 60 орудий. Но он возведен лишь в виде площадки и только со стороны моря, хотя обошелся в 2000 ф. ст. Примерно в миле отсюда в направлении земли намечено строительство форта и оборонительной линии, тянущейся от гавани до моря, чтобы защищать город от любого покушения со стороны суши…».

Форт-Кромвелю, переименованному в Форт-Чарлз, уделялось особенно большое внимание в 1660-е годы. В ноябре 1662 года около сорока человек были наняты для завершения площадок вокруг башни, и к концу декабря они сделали «площадку в виде полумесяца, повернутую к морю», и установили на ней одно орудие и три полупушки. В начале следующего года военный корабль «Грейтгест» доставил лафеты и снаряжение для пушек в форте. К 1664 году первоначальный план форта — с башней в центре — был, видимо, заменен другим: с полубастионами на востоке и западе и разновидностью реданта на северной стороне. Между 1664 и 1666 годами работы велись по этой обновленной схеме, и к 1667 году они были полностью завершены. Центральная башня с тех пор использовалась лишь как склад, а около 36 пушек были установлены на валах, окружавших ее.

На другой стороне города палисады около 1665 года заменили каменной стеной — с бойницами и центральной башней, вооруженной шестью пушками. Согласно одному отчету, эта башня сначала называлась Лэндвард-форт. Завершение возведения этой линии способствовало тому, что Порт-Ройял был надежно защищен как с востока, так и с запада.

Нетрудно заметить, что первыми жителями Пойнт-Кагуэя были солдаты, моряки и гражданские лица, занятые управлением делами. Пока суда стояли на якоре в гавани, команды отдыхали в городе и готовились к будущим походам. На берег выгружали грузы, привезенные из Англии, с Малых Антильских островов или из североамериканских колоний. Многие военные суда привозили с собой оружие, амуницию и порох, которые тут же забирали на склады. Питьевую воду для кораблей доставляли шлюпками из Рока, расположенного в нескольких сотнях ярдов к западу, — теперь там находится Рокфорт.

Выше уже отмечалось, что флибустьеры стали активно использовать Порт-Кагуэй в качестве своей базы с 1657 года, когда им были выданы первые каперские свидетельства против испанцев. Генерал-майор Уильям Брейн в письме, отправленном из Кагуэя в апреле 1657 года, упоминает о голландском флибустьере Герритсзооне, у которого он купил по дешевке (всего за 40 ф. ст.) приз водоизмещением 60 т. Желая отблагодарить голландца за такую щедрость, Брейн позволил ему «транспортировать 20 тонн кубинского табака» в Англию. Табак, безусловно, был захвачен у испанцев. Герритсзоон доставил его в метрополию на судне «Саксес» (командир — Захарий Браун), но на таможне весь груз был тут же конфискован.