Неудачи расшевелили рядовых солдат крестоносной армии. Они упрекали своих предводителей в лени и неумелом руководстве. Многие выдающиеся сеньоры погибли, в том числе и графы де Ла Марш и де Бар-сюр-Сен, и Гийом Шартрский, Великий магистр тамплиеров. Другие вернулись в Европу. Леопольд Австрийский оставил армию в мае. Он был самым энергичным из вождей, но он пробыл на Востоке уже два года, и никто не мог упрекнуть его за то, что он решил вернуться домой. Своей доблестью он изгладил дурную репутацию, которую заслужил его отец своими ссорами с Ричардом Львиное Сердце во время Третьего крестового похода. С собой на родину он увез фрагмент Истинного Креста. Но корабли, которые увозили его в Европу, несли на себе и других солдат, чей отъезд казался оставшимся дезертирством.

В конце августа 1219 года, пока король Жан и Пелагий препирались из-за стратегических вопросов: один выступал за более плотную осаду, другой — за атаку на лагерь султана, солдаты решили взять дело в свои руки и 29-го числа беспорядочной толпой ринулись на ряды мусульман. Те сделали вид, что отступают, а затем контратаковали. Пелагий пытался взять командование на себя, но, несмотря на все его увещевания, итальянские полки развернулись и бежали, и вскоре всю армию охватила паника. Только опыт и искусство короля Жана, французских и английских дворян и военных орденов позволили спасти уцелевших и удержать лагерь.

За битвой с печалью и страхом наблюдал находившийся в лагере почетный гость — брат Франциск Ассизский. Он прибыл на Восток, веря, как верили многие другие хорошие и неразумные люди до и после него, что мир можно установить посредством миротворческой миссии. Теперь же он попросил у Пелагия разрешения повидаться с султаном. После некоторых колебаний Пелагий согласился и послал его под флагом перемирия в Фарискур. Мусульманская стража сначала отнеслась к нему подозрительно, но потом решила, что такой простой, кроткий и грязный человек, должно быть, безумец, и отнеслась к нему с тем уважением, с которым подобает относиться к человеку, коего коснулась Божья десница. Его отвели к султану аль-Камилю. Франциск очаровал его, и тот терпеливо выслушал его обращение, но султан был слишком добр и слишком цивилизован, чтобы разрешить Франциску свидетельствовать об истинности своей веры посредством испытания огнем. Кроме того, он не рисковал вызвать ожесточение, к которому привело бы в тот момент публичное обсуждение религиозных вопросов. Франциску предложили множество даров, от которых он отказался, и отправили восвояси с почетным эскортом.

На самом деле для установления мира не требовалось вмешательства святого, ибо и сам аль-Камиль склонялся к нему. В то лето разлив Нила был очень слабым, и Египту угрожал голод. Властям требовались все ресурсы, чтобы срочно ввезти продовольствие из соседних стран. Аль-Муаззам торопился вернуться со своей армией в Сирию, и обоих султанов не радовала деятельность их брата аль-Ашрафа на севере. В Багдаде халиф ан-Насир попал под власть хорезмского шаха Джелал ад-Дина, чей отец Мухаммад уничтожил сельджукские владения в Иране и основал империю, раскинувшуюся от Инда до Тигра. Джелал ад-Дина можно было бы использовать против аль-Ашрафа, но ввиду его известных стремлений было бы опасно излишне подстегивать его. Поэтому аль-Муаззам был готов поддержать аль-Камиля в любых попытках установить мир и дружбу с франками. В некий день в сентябре от султана к христианам явился пленный франк с предложением временного перемирия, намекая на то, что мусульмане, возможно, готовы сдать Иерусалим. Христиане на перемирие согласились, но пока отказались обсуждать дальнейшие условия мира.

Эту передышку обе стороны потратили на восстановление обороны. Многие крестоносцы также сочли его удобной возможностью, чтобы вернуться домой. Некоторые успели уехать еще в начале месяца, а 14 сентября уплыло еще двенадцать кораблей. Потери были восполнены через неделю, когда на десяти генуэзских галерах прибыл со своими войсками французский сеньор Савари Молеонский. Когда аль-Камиль нарушил перемирие и атаковал франков 26-го числа, новоприбывшие успешно повели оборону.

Аль-Камиль все еще надеялся на мир. Он знал, что не сможет удержать Дамиетту. Тамошний гарнизон слишком поредел, чтобы следить за всеми стенами, а его попытки подвести подкрепления ни к чему не привели. Также и подкупленные им изменники из христианского лагеря не добились успеха ни в одном своем начинании. В конце октября султан прислал двух пленных рыцарей сообщить франкам свои окончательные условия. Если они уйдут из Египта, он вернет им Истинный Крест, а еще они могут забирать Иерусалим, всю Центральную Палестину и Галилею. Мусульмане оставят себе только замки в Заиорданье, но будут платить за них дань.

Это было сенсационное предложение. Без единого выстрела Святой город вместе с Вифлеемом, Назаретом и Истинным Крестом будут возвращены христианам. Король Жан советовал его принять, и его поддерживали и собственные бароны, и бароны из Англии, Франции и Германии. Но Пелагий не желал ничего слышать, как, впрочем, и патриарх Иерусалимский. Они считали неправильным договариваться с иноверцами. Военные ордена согласились с ними по стратегическим причинам. Если сам Иерусалим и галилейские крепости будут разрушены, город в любом случае невозможно удержать, не владея Заиорданьем. Итальянцы тоже выступали против заключения мира на таких условиях. Как бы морские итальянские города ни сопротивлялись разрыву с Египтом, теперь, когда он произошел, они хотели обеспечить себе Дамиетту в качестве центра торговли. Аннексия внутренних территорий их не интересовала. Спор между двумя партиями настолько ожесточился, что епископ Акры Жак посчитал, что своим предложением султан именно что и рассчитывал вызвать раздор в рядах христиан. По настоянию Пелагия предложение отвергли.

Несколько дней спустя посланный Пелагием отряд разведчиков доложил, что внешнюю стену Дамиетты никто не охраняет. На следующий день, во вторник 5 ноября 1219 года, крестоносцы всей своей ратью пошли на штурм и практически без сопротивления молниеносно овладели и внешней и внутренней стеной. В городе они обнаружили, что почти весь гарнизон слег с болезнью. В живых оставалось только три тысячи жителей, многие из них настолько ослабели, что даже не могли похоронить мертвецов. Еды и ценностей там хватало, но зараза сделала за христиан всю работу. Как только они заняли город, они тут же отделили три сотни главных горожан в качестве заложников, маленьких детей передали церкви для крещения и чтобы использовать их для услужения, а остальных продали в рабство. Сокровища следовало поделить между крестоносцами согласно их рангу, но никакие анафемы легата не могли предотвратить воровства и сокрытия ценных предметов солдатами.

Затем нужно было подумать о том, кто будет управлять Дамиеттой. Король Жан сразу же заявил, что она должна войти в Иерусалимское королевство, и его поддержали и военные ордена, и светская знать. Пелагий же утверждал, что завоеванный город принадлежит всему христианству, то есть церкви. Но так как мнение большинства было против него, а Жан угрожал уплыть в Акру, он пошел на компромисс. Король будет править Дамиеттой до тех пор, пока к походу не присоединится Фридрих II из Германии. Между тем часть армии отправилась атаковать Танис в устье Танитского рукава Нила, в нескольких милях к востоку. Испуганный гарнизон бросил город, а крестоносцы вернулись с новой добычей, что привело только к новым ссорам. В частности, итальянцы сочли, что их обошли, и, когда Пелагий не пожелал их поддержать, активно взбунтовались. Военным орденам пришлось выставить их из города. Когда пришла зима, во всей победоносной армии тлело недовольство.