По данным Майкла Посона и Давида Бюисере, написавших основательное исследование по истории Порт-Ройяла, с июля по декабрь 1655 года работы в форте шли довольно вяло, без энтузиазма. Строительная команда, находившаяся в распоряжении капитана Хьюза, к ноябрю установила лишь девять или десять пушек. Вице-адмирал Гудзон, находясь на борту флагмана «Торрингтон», в январе 1656 года писал:

«Мы были заняты работой по строительству форта для защиты гавани; когда его возведут, он будет средних размеров, а пока построен лишь наполовину. Но мы решили приложить к тому сердце и руку и, по-возможности, завершить его. В нем находятся батарейные пушки, привезенные из Англии, и те, что были взяты в Санта-Марте; всего установлено 20 пушек».

14 января того же года полковнику Хамфри было приказано «идти с его полком на помощь капитану Хьюзу». Солдаты полка доставили из Спаниш-Тауна в Пойнт-Кагуэй сто палаток «со всеми необходимыми вещами и принадлежностями к ним». Однако, увы, «все они оказались бесполезными». Кое-кто улизнул назад в Спаниш-Таун, многие солдаты умерли, так что в итоге пришлось привлечь к работам в форте военных моряков.

В марте 1656 года капитан Маартен ван Алфан из полка Хамфри получил приказ сменить капитана Хьюза; последний вернулся в Спаниш-Таун, где ему поручили следить за починкой восьмидесяти бочек. Эти бочки хотели задействовать для доставки извести с «большой земли» на Пойнт. Приготовлением извести постоянно занимались два человека — мастер Томас Гиббонс и помогавший ему рабочий. В апреле к ван Алфану прислали помощника — «пиротехника» Николаса Кина, которого в 1657 году (когда на Пойнте начали раздавать землю) назначили также землемером. В дальнейшем Кин отвечал за ремесленников и рабочих в форте, а ван Алфан — за солдат полка Хамфри, расквартированного в Пойнт-Кагуэе.

На территории форта решено было построить круглую башню, и с этой целью на соседний пляж было выгружено много камней, доставленных с холмов Порт-Хендерсона. К концу апреля 1656 года башня уже имела высоту пять футов, а «большой форт» был «почти завершен». Его соорудили в виде простого прямоугольника, в центре которого возвышалась упомянутая башня; орудийные площадки, расположенные по периметру, представляли собой простые дощатые настилы и песчаные насыпи с открытыми выходами. Форт оставался таким до 1662 года.

За активностью англичан на Пойнте внимательно следили испанцы. 3 апреля 1656 года дон Кристобаль Арнальдо де Исасси, возглавлявший испанские партизанские силы на Ямайке, сам видел с наблюдательного пункта на холме Порт-Хендерсона «восемнадцать судов, стоявших на рейде в гавани» и «около восемнадцати домов на мысе Кайо-де-Карена, а внутри гавани — семь крытых соломой хижин». Он добавляет, что «не увидел маленький форт на мысе… потому что он, должно быть, был низким». На недатированной испанской карте (примерно 1655–1656 годов) показаны двадцать домов на островке Кайо-де-Карена, а также форт, который выглядит скорее проектом в форме восьмиконечной звезды, чем реальным прямоугольным укреплением.

О наличие «домов» в Пойнт-Кагуэе в этот период нет упоминаний в журнале Эдварда Дойли. Возможно, там могли стоять грубо сколоченные дома приватных лиц; кроме того, для офицеров, находившихся на косе во время строительства форта, могли соорудить более комфортабельное жилье, чем палатки простых солдат. Не исключено также, что моряки, занимавшиеся кренгованием судов, построили на мысе склады для хранения нужных материалов.

Укрепление, сооружавшееся на косе усилиями трех десятков ремесленников и полусотни солдат, получило название Форт-Кромвель; впервые оно было зафиксировано в документах, датированных октябрем 1656 года. Одновременно укреплялись Пэссидж-Форт и Сантьяго-де-ла-Вега (Спаниш-Таун).

Самое ранее упоминание о городе, заложенном на Пойнте, сделал генерал-лейтенант Уильям Брейн в июле 1657 года: «Здесь, на косе этой гавани, уже положено прекрасное начало городу, который желательно построить при малых затратах… Я рассчитываю на то, что здесь будут находиться все наши магазины и торговля, каковые вскоре сделают его процветающим местом».

Первые общественные здания были построены в Пойнт-Кагуэе по приказу Брейна за счет «его превосходительства [Кромвеля] и Английской республики». К ним относился жилой дом с двумя надворными строениями «для использования главнокомандующим». Сруб для всех трех зданий возвел Томас Кийс, плотник, за 40 ф. ст. На втором этапе за работу взялся другой плотник, Ричард Брук, который покрыл каркас деревянными досками снаружи и изнутри, положил пол и сделал перегородки, двери и окна. За все это ему заплатили 31 ф. ст. («десятью галлонами бренди и 672 фунтами хлеба»). Кровлю соорудили из старых бочарных досок, «принадлежавших нескольким кораблям», и работа эта обошлась в 8 ф. ст. Наконец, была построена «ограда с палисадом вокруг двора названного дома». На строительстве в основном задействовали военных моряков, которым заплатили натурой — 18 галлонами бренди. Все материалы приходилось доставлять в Пойнт-Кагуэй по воде с другого берега — из складов Пэссидж-Форта.

Со временем в Пойнте построили свой постоянный склад. На его строительство пошло 6400 футов дерева и 21 900 гвоздей; каменщик Джон Дьюрант получил за работу 16 ф. ст. 10 шилл.

9 июля 1657 года Исасси написал вице-королю Новой Испании подробный отчет о Ямайке. В нем указывалось:

«Англичан на этом острове насчитывается четыре тысячи человек — пехотинцев, женщин и детей. Они имеют в главном порту, на оконечности Кайо-де-Карена, форт с тридцатью железными пушками и двумя бронзовыми, которые они захватили в крепости Санта-Марты. Калибр бронзовых пушек: одна — 25, другая — 18, остальная артиллерия [имеет калибр] 12 и 10. Еще один бастион стоит на месте высадки, сооруженный в виде траншеи для охраны места высадки, с двенадцатью пушками калибром около 8 и 6. Они не имеют никаких иных фортификаций…».

Эту информацию 24 июля того же года дополнил капитан Доминго Родригес де Вера:

«Укрепление, именуемое Кайо-де-Карена, являющееся основным и самым сильным, имеет 30 пушек, включая 6 бронзовых, среди которых имеется одна, стреляющая 52-фунтовыми ядрами, а другая — 48, еще две — по 36, и две, которые они привезли из Санта-Марты: одна [калибром] 34, другая — 16; две бронзовые мортиры, из коих одна стреляет 300-фунтовыми ядрами, а другая — 200. Остальная артиллерия [имеет калибр] от 8 до 10. План и строение этого форта подобны звезде из камня и известки с песком. Он занимает площадь 120 футов в ширину и столько же в длину с восемью наблюдательными постами, смотрящими во все стороны. В середине находится высокий редут из камня с шестью пушками. Он имеет два подземных выхода без ворот.

В порту обычно находится от 15 до 20 судов; некоторые входят, другие выходят, и среди них в качестве резерва — восемь мощных кораблей. Флагман несет 80 пушек, остальные — от 30 до 40. Генерал этого флота — Брэн, англичанин (в действительности эскадрой командовал Мингс . — В.Г. ). Почти каждую ночь он спит на борту…».

Первые частные дома на косе были документально зафиксированы в середине 1657 года; земельные участки под них были пожалованы губернатором Брейном, который, к сожалению, не указал, кто именно получил землю. После его смерти полковник Дойли снова взял командование в свои руки, и все его пожалования были зафиксированы в журнале. Первые из них датированы 5 сентября 1657 года и содержали приказ землемеру Николасу Кину «выделить Николасу Александру и квартирмейстеру Моррису шестьдесят футов земли в Кагуэе».