Как только Ягайло приехал в Польшу, то сразу же собрал в Сандомире сейм, на котором заявил, что не признает Свидригайлу великим князем, ибо Великое Княжество навсегда присоединено к Польскому королевству. Королевские послы передали Свидригайле, что Ягайло сделал это с целью привести его к трезвой рассудительности. Свидригайло ответил прямо: «Ни Луцка не соступлю, ни Подолье отобрать не дам. Объяснений ваших не требую: потому что по праву наследственному держу Великое Княжество Литовское, а не с чьей-нибудь ласки». Но поляки так и не признали его великим князем, они арестовали его уполномоченных, приехавших принять у них подольские замки.

Теперь Свидригайло был полон решимости «договориться с императором Римским и с его согласия сделать что-то ради уничтожения гордости поляков». Он, заключив союзные договора с Орденом, Ордой, Чехией, чувствовал себя вполне уверенно. Польским послам Свидригайло самоуверенно сказал: «Все, что делал и делаю, правильно и по праву поступаю». Стоило только послу Бржескому заикнуться о требовании Ягайлы отправиться в Краков для принесения присяги верности, как Свидригайло вскипел и ударил его в ухо, и тот вылетел за двери.

Наконец Свидригайло расстался с пустыми надеждами мирным путем отстоять независимость Великого Княжества. На совете со своими сподвижниками он решил готовиться к войне с Польшей. Когда про это стало известно на краковском дворе, там начался переполох. Тут же решили послать к Свидригайле новое посольство и попытаться любым способом отговорить его от войны. Поехал в Вильно все тот же Бржеский. На этот раз ему еще больше не повезло. Свидригайло и слушать не стал посла, вновь ударил его по уху и приказал бросить в темницу.

В марте 1413 года (хотя войну поляки объявили только 4 июля) польское войско двинулось на Восточное Подолье к Брацлаву. Следом выступил на Волынь Ягайло. Как писал Ян Длугош, «хуже смерти» была эта война для Ягайлы. Как только польское войско подходило к какому-нибудь городу, король тайно посылал туда гонцов с известием об опасности. Поляки оставляли после себя сгоревшие деревни и разграбленные города. Об этом Свидригайло писал великому магистру: «...и на пути своем в селах делали нашим подданым великий вред, насилие и неслыханную жестокость». Первой жертвой этой войны стал Городло, где когда-то была подписана Городельская уния. Поляки «опустошили совсем», по словам Свидригайлы, этот городок. После взяли Збараж и Владимир. Люди убегали из деревень в леса и прятались там от врагов, много умерло от голода и болезней. Против Ягайлы выступил лично Свидригайло. Он приехал 31 июля под Луцк, где стояло польское войско, на встречу с Ягайлой, но не застал его. Несколько польских хоругвей переправились через Стырь и напали на стоянку Свидригайлы. Великий князь вынужден был бежать. В плен попали его маршалки Ян Гаштольд и Румбольд Велимонтович.

Распространился слух, что Свидригайлу убили. Узнав об этом, король Ягайло очень жалел брата и чувствовал свою вину перед ним. По словам хрониста Яна Длугоша, король Ягайло «желал бы собственной смерти, чем низложить брата с Великого Княжества». Но Свидригайло был жив и руководил действиями своих войск. На помощь ему пришли татары хана Улуг-Мухамеда.

Тогда поляки использовали испробованный способ — устранить Ягайлу, а на королевский престол посадить Свидригайлу при условии сохранения Виленско-Радомской унии. Через освобожденных из плена Гаштольда и Румбольда Свидригайло узнал о предложении поляков и раскусил их замысел. Он отказался.

Пока поляки стояли под Луцком, в Польшу ворвались прусские крестоносцы. Ягайло поспешил заключить со Свидригайлой перемирие, которое обещал превратить в вечный мир. За поляками оставались захваченные ими подольские города: Каменец, Смотрич, Скала и Червонгород. Заключенное 6 сентября 1431 года перемирие было политической ошибкой Свидригайлы. Он не использовал выступление союзного Ордена и не продолжил войну с Польшей. Не зря крестоносцы настаивали, чтобы Свидригайло не мирился с Ягайлой, объясняя ему, что тут кроется измена. Но он не хотел верить до того времени, пока позже не убедился в этом сам: «...ибо миром при Луцке устроил он свое несчастье и от этого произошло все его зло», — считали крестоносцы.

Действовать Ягайло решил через папу римского Евгения IV и просил его снять клятву верности с подданных Свидригайлы. Збигнев Олесницкий с тревогой предупреждал папу: «Князь Свидригайло во всем советуется со схизматиками и жену взял по их укладу жизни: так знайте, литвины, которые теперь католики, хотели его склонить к согласию с нами, то русины имеют через дело и волю этого князя власть большую, чем литвины. Не допускайте этого, ибо боюсь, чтобы обряд и власть литвинов не упали. Схизматики все важнейшие замки и уряды в своих руках держат, чего не было при жизни Витовта». Польский посол Фашкер, которого Свидригайло называл «главной пружиной всех ссор и войны между ним и королем», рассказал папе о «жестокостях» крестоносцев и язычников (так были представлены литвины). Папа так разгневался на Орден, что не захотел слушать объяснений орденского представителя.

На Базельском соборе обнародовали грамоту, в которой Орден укоряли за союз с Великим Княжеством. Стремясь разорвать этот союз, поляки не желали допустить орденских дипломатов на сейм в Парчев, где должны были утвердить мир между Польшей и ВКЛ. Свидригайло настаивал на участии Ордена в заключении мира. Магистру он писал: «Не сомневайтесь в нас, ничто на свете не сможет разлучить нас с вами, мы с искренностью готовы всегда и во всем помогать вам». Без участия Ордена Свидригайло отказался заключать с Польшей мир. Осталось единственное — убрать с великокняжеского посада Свидригайлу. В Краков из Стародуба был вызван брат Витовта Сигизмунд Кейстутович, а в Литву приехал искусный интриган Лаврентий Зарембо.

И в самом Великом Княжестве против Свидригайлы сложился заговор среди феодалов-католиков. В центре заговора был князь Семен Гольшанский, брат жены Ягайлы — Софии. Он, по словам Свидригайлы, и «подбунтовал Сигизмунда и подучил». Против великого князя были дворный маршалок Ян Гаштольд, новогородский наместник Петр Монтигирдович, киевский князь Олелько Владимирович, родственник Витовта по материнской линии, великий маршалок Румбольд Велимонтович, даже виленский епископ Матфей. Свидригайло не подозревал об грозящей опасности и занимался государственными делами.

А Сигизмунд Кейстутович согласился быть великим князем и уступал Польше за помощь земли Подолья, Волыни и Киев. В середине августа 1432 года Сигизмунд Кейстутович в сопровождении польского отряда тайно вступил в Великое Княжество.

Великий князь Свидригайло в это время ехал по делам в Полоцк, по дороге он остановился в Ошмянах. Когда заговорщики во главе с Зарембой в ночь на 17 августа подошли к Ошмянам, предупрежденный трокским воеводой Яном Монивидом Свидригайло убежал с 14 человеками, покинув в местечке беременную жену. Он отправился в Полоцк, где его охотно поддержало б православное население.

Сигизмунд Кейстутович занял Вильно. Дворный маршалок Гаштольд сдал ему город. Во всех городских храмах была зачитана папская булла, которой папа освобождал Свидригайловых подданых от присяги ему. Сигизмунд обманул их, объявив, что Свидригайло умер.