Наконец 6 августа 1323 года в Вильно прибыло совместное посольство от рижского архиепископа и магистрата, датского правителя Ревельской земли и представителей Ливонского ордена. Послы интересовались у Гедимина, исполнит ли он обещание. Великий князь уклонился от прямого ответа. «Как скоро приедут ко мне послы от папы, которых я жду каждый день, тогда все будет известно. Что я имею теперь на своем сердце, то знает Бог и я сам. От моих отцов я слышал, что папа есть наш общий отец, ближние за ним — архиепископы, затем иные епископы. Каждому человеку я позволяю жить в моей земле по его обычаю и по его вере». Такое впечатление, что Гедимин или передумал принимать католическую веру, или сомневался в правильности своего решения, и для этого возникли серьезные причины. Как только стало известно о желании Гедимина крестить Литву, против него выступили жемайтские феодалы. Они угрожали великому князю захватить его вместе с семьей и с помощью крестоносцев прогнать из государства или убить. Крестоносцы умело использовали недовольство жемайтов и подбивали их против Гедимина. Одновременно Орден предлагал Гедимину взятку в 1000 марок, лишь бы он крестился от орденских священников: тем самым епископство Литвы оказалось бы в юрисдикции орденской митрополии. Гедимин отклонил это предложение, хорошо понимая, куда клонят крестоносцы: подчинить Литву Ордену через костел.

Нужный мир с Ливонией Гедимин заключил. Причем, по «Хронике» Вартберга, Гедимин силой заставил ливонских послов подписать мир, «в противном случае они увидят, удастся ли им выбраться из его земли». Этот аргумент доходчиво подействовал на послов, и 2 октября они заключили мир, который признал и Ливонский орден. А папа Иоанн XXII 31 августа 1324 года утвердил его.

Но Орден не соблюдал мирного договора. В 1323 году ливонские рыцари ходили к Мяделю, где опустошили его околицы. «Также они разорили Полоцкую землю и через 40 дней вновь разорили ту же землю, жестоко убили восемьдесят человек, а некоторых повели с собой», — сообщал рижскому магистрату Гедимин.

И вот, наконец, приехали папские легаты. 3 июля 1324 года Гедимин принял их в своем Виленском замке.

Гедимин, поняв, что крещение Литвы не принесет желанного мира с Орденом, а только приведет к разладу с Жемайтией и православным населением государства, отказался от своих намерений. «Я ничего подобного писать не приказывал. Если же брат Бертольд так написал, то пусть ответственность за эту ложь падет на его голову. Если бы я когда-либо имел намерение креститься, то обратился бы за этим к дьяволу, а не к вам. Я действительно говорил, как написано в грамоте, что буду почитать папу, ибо он старше меня, и господина архиепископа я также уважаю, как отца, ибо он старше меня, а моих сверстников я буду уважать, как братьев, а тех, кто моложе меня, как сыновей. Я не запрещаю христианам служить Богу по их обычаям. Русинам — по своему, а мы служим Богу по нашим обычаям, и у всех один Бог. Что вы мне говорите о христианах? Где больше несправедливости, насилия, жестокости и излишества, чем у христиан, особенно у тех, которые кажутся благочестивыми, как, например, крестоносцы, которые совершают всякое зло... С тех времен, как появились тут эти христиане, они никогда не исполняли то, что обещали в своих клятвах. В прошлом году были тут послы вашей земли; с общего согласия, без всякого принуждения они заключили мир с нами и от имени всего христианства подтвердили договор клятвой, целовали крест и не выполнили того, что было скреплено клятвой. Они убили моих послов, которых я послал для утверждения мира, и не только их одних, но и многих других, и много раз они убивали, брали в плен, держали в тяжелой неволе — я не верю более их клятвам», — ответил Гедимин.

Заслуживает уважения редкая по тем временам веротерпимость Гедимина, особенно человечная в сравнении с воинственностью к другим конфессиям и религиям папской курии и крестоносцев. Следует согласиться с историком В. Василевским, который писал: «Чтобы прийти к сознанию о единстве Верховного существа, которому одинаково служат и поклоняются каждый по-своему — и польский католик, и православный русский, и литовский язычник, для этого Гедимин должен был стать выше своего язычества и даже выше своего времени».

Гедимин болезненно переживал крах своих надежд. Вероятно, был он человеком эмоциональным и не мог сдержать чувства разочарования и обиды. Послы свидетельствуют: «После мы услышали от какого-то брата Ордена миноритов, будто бы одна женщина из приближенных к королеве сообщила ему, что, когда мы там были и после того, как ушли с приема, король на всю ночь удалился в свою опочивальню, взяв с собой свояка Ерудоне, и горько плакал, и, перестав, начинал вновь, и вроде бы каждую ночь он делал так трижды и, как эта женщина предположила, он делал это потому, что он должен отказаться от своего первоначального решения».

По-прежнему Орден не собирался соблюдать мир с Великим Княжеством Литовским и планировал поднять против него Европу. Активизировал политику и Гедимин. Князем в Пскове был избран городенский староста Давид, который в 1322 и 1323 годах отбил от города ливонских рыцарей и разорил Дерптскую и Ревельскую земли. Гедимин в 1325 году заключил мир с польским королем Владиславом Локеткой, скрепив его браком своей дочери Альдоны с сыном Локетки Казимиром. Был заключен мир с Новгородом. Гедимин еще раз подтвердил свое желание сохранить мир. Посол Лесий заявил в Риге магистру и рижским властям, что «король наш желает строго почитать мир, если только не будет вынужден необходимостью отказаться от этого, защищаясь от своих врагов, вражеским нападениям которых мы, как известно, все время подвергаемся». Видимо, именно Лесий («один знатный литвин, будто бы второй после короля», по Дусбургу) официально передал от имени Гедимина прелатам и легатам, что они никогда не дождутся никакой грамоты о согласии короля на крещение свое или своих людей, и добавил, что этот король силой богов своих поклялся, что никогда не примет иного вероисповедания, чем то, которому следовали его предки.

Великий князь Гедимин в глазах Европы оставался князем язычников, что и оправдывало войну Ордена против Великого Княжества Литовского. Но Гедимин создал против Ордена коалицию, в которую вошли Польша, Рига, Новгород, Псков. Теперь уже он переходил в наступление на Орден.

В 1326 году начались совместные действия Великого Княжества Литовского и Польши. Польское войско и дружина в 1200 всадников Давида Городенского дошли до Франкфурта-на-Одере. Маркграф Людовик Бранденбургский вынужден был надолго отказаться от своих планов завоевания Западного Поморья и поддержки Ордена. В ответ прусские рыцари в 1328 году разорили Городенскую землю, сожгли предместья двух замков в Жемайтии, а в 1330 году напали там на предместье замка Гедимина и сожгли его. Война принимала затяжной характер и требовала от Гедимина поиска путей сдерживания орденского наступления.

Гедимин вновь воспользовался враждой рижан с ливонскими рыцарями. Рижане обещали Гедимину передать епископские замки. Но когда Гедимин в апреле 1329 года пришел в Ливонию, то узнал, что замки захватили крестоносцы. Взбешенный Гедимин накинулся на послов с угрозами. Но те пообещали ему в утешение, что поведут его туда, где он может нанести большой вред Ордену. В самом деле, проводники показали Гедимину богатые ливонские владения, которые литвины разорили и нанесли Ордену убытки более чем на 6000 марок серебра.