От жены Анастасии Рязанской имел сыновей Ивана, Жигимонта (наместника Витовта в Чехии), Федора и дочерей Елену (жену ратборского князя Яна) и Марию (жену князя Федора Воротынского).

Эти события в Луцке насторожили Ягайло. Он решил ослабить влияние Витовта и его соратников. Великий князь отнял у Витовта города Луцк и Владимир, у его союзника — князя Ивана Голыпанского — Гольшаны. А брат Витовта, князь Товтивил, лишился Новогородка. Ждать больше не было смысла, ибо стало ясно, что Ягайло не даст князьям спокойной жизни.

В середине 1389 года Витовт собрал в своем замке в Городно недовольных Ягайло князей и бояр и заявил, что чужаки овладели Великим княжеством, а в Вильно правит польский староста. Князья и бояре предложили захватить Вильно и возвести на великокняжеский престол Витовта.

Отважный князь вновь решил воспользоваться ситуацией. Когда в конце 1389 года Скиргайло выехал из Вильно в Полоцк утихомирить недовольных горожан, Витовт снарядил в Вильно обоз с дровами, под которыми спрятались его воины. Планировалось ввести обоз в столицу Великого княжества и захватить ее, после чего объявить Витовта великим князем.

Кто знает, как развивалась бы история в случае успешного осуществления этого плана. Ведь за Витовта стояли многие православные князья и такие крупные города, как Полоцк и Витебск. Но, как это часто бывает, помешала случайность.

Князь Корибут, оставшийся вместо Скиргайло в столице, узнал о заговоре и успел принять меры. Как только обоз подошел к Вильно, его окружило войско. Заговорщики вынуждены были сдаться. А Витовт, покинув в Городно и Берестье сильные гарнизоны, вместе с семьей и близкими опять бежал в Пруссию под защиту Ордена. Великий магистр простил князю прежнюю измену и оказал помощь — слишком большим у крестоносцев было искушение вновь использовать Витовта в борьбе с Ягайло.

Каменный замок в Городно был построен Витовтом в конце XIV - начале XV века. В 1393 году крестоносцы захватили и разрушили замок, но Витовт поднял его из руин. В 1398 году старый замок охватил пожар. В огне чуть не погибли Витовт и его жена Анна. Разбудил их визг ручной обезьянки. Вместо сгоревшего деревянного замка Витовт приказал построить каменный. От прежнего здания сохранилась лишь круглая башня. Новый замок имел пять башен и стены до 2,5-3 метров толщины. Крутая 30-метровая замковая гора и 50-метровый ров увеличивали неприступность замка. С Городенским замком связано много важных в жизни Витовта событий. Здесь 19 января 1390 года он заключил союзное соглашение с Орденом. Здесь в 1410 году собиралось войско для похода на Пруссию. Здесь же 1 октября 1418 года Витовт праздновал и свою свадьбу с третьей женой - княгиней Ульяной Гольшанской.

Многие литовские и белорусские феодалы видели в непокорном городенском князе борца за независимость Великого княжества Литовского против Польши и поддержали его. Полоцк признал Витовта своим князем. Теперь тот был куда сильнее, чем прежде. А значит, более опасен для великого князя, хотя Ягайло и захватил города Берестье, Каменец и Городно.

При поддержке крестоносцев Витовт осенью 1390 года и летом 1391 года ходил на Вильно. Эти походы не увенчались успехом: виленские замки выдержали осаду. Однако князь продолжал борьбу. Хронист Ян Длугош писал, что, опираясь на помощь крестоносцев, «князь Витовт производил частые набеги на литовские и жемойтские земли, забирая в плен и убивая жителей обоего пола, сжигая селения и совершая много грабежей». Позиции Витовта особенно укрепились, когда в 1392 году его дочь София вышла замуж за московского князя Василия Дмитриевича.

Удары князя Витовта становились все более опасными для Ягайло. На границе с Великим княжеством крестоносцы возвели для него замок Ритесвердер, откуда он совершал набеги на Литву. Керновский князь Виганд-Александр, брат Ягайло, попробовал штурмом взять замок, но был отбит. А вскоре он умер при загадочных обстоятельствах. Подозревали, что Виганда отравили сообщники Витовта. Ягайло лишился человека, на которого возлагал большие надежды и которого назначил своим наместником в Великом княжестве вместо бездумного и горячего Скиргайло.

Тем временем Витовт завладел Городно и укрепился там. Теперь Ягайло пришлось крепко задуматься. В Великом княжестве его не любили, а Польша использовала исключительно в своих интересах. Зять Витовта — московский князь Василий — получил от хана Золотой Орды ярлык на Великое княжество Владимирское. И это тоже не способствовало укреплению позиций Ягайло. Выход из создавшегося положения был один — помириться с Витовтом. «И увидели король и князь великий Скиргайло, что уже не могут удержать земли Литовское перед великим князем Витовтом», — отмечает «Летописец великих князей литовских».

Через своего посла — мазовецкого князя Генриха, который приехал в Пруссию якобы сообщить крестоносцам о желании поляков заключить мир, Ягайло передал Витовту свою просьбу не опустошать больше литовские земли, пойти на мир с ним и взять себе великое княжение.