Во главе татарских загонов Михаил Сигизмундович захватил Киев, Стародуб, Новгород-Северский, Путивль, Брянск, Радогощ. Но до гражданской войны не дошло. Михаил Сигизмундович испугался посланного на него войска и сбежал в Москву.

Отношение Казимира к своему троюродному брату, которому он отказал в отцовском наследстве — Троках, вызвало у многих неприятие. Епископ Збигнев Олесницкий, который поддерживал Михаила, укорял Казимира за невыполнение договора Ягайлы с Сигизмундом Кейстутовичем и требовал возвращения Михаилу его прав. «Вынуждает нас к этому не только Божие и прирожденные права, но и отца твоего присяга, которой он вместе с нами на глазах моих, поклялся твердо исполнять условия договора, заключенного с Сигизмунд ом». Казимиру надоело, что его как ребенка учат и поучают, наставляют, что и как он должен делать. Он стал проявлять непослушание, даже твердость. Вот и ответил епископу резко: «Не надеялся никогда их твоих уст услышать подобные слова. Не вынудишь меня, чтобы я сделал то, о чем напоминаешь. Упадет еще не одна голова, пока князь Михаил будет возвращать свое отчины». Но и польские вельможи проявили твердость и решительно напомнили Казимиру: «На то королем избран, чтобы не только права королевства стерег, но во всем старался их расширить». И стали требовать включения в состав Польши Западного Подолья и Волыни. Казимир предложил рассмотреть спорные с Литвой вопросы на следующем сейме, а чтобы задобрить поляков, признался, что «содействовал Польше, а не Литовскому Княжеству, но мне нужно быть осторожным, чтобы Литва не вышла из послушания».

Боязнь нового выступления Михаила Сигизмундовича вынудила Казимира пойти на уступки Москве. По договору с московским князем Василием Васильевичем, заключенному 31 августа 1449 года, Казимир отказался от претензий на Новгород и Псков, признавая московского митрополита Иона главой православной церкви в Великом Княжестве Литовском. Московский князь в свою очередь отказался от титула «великий князь всея Руси», признавал вассальную зависимость Тверского княжества от Великого Княжества Литовского и обещал «не вступатися» во владения Казимира: «ни в Смоленск, ни в Любутеск, ни в Мценск, ни во вси... украиные места». Обещал не поддерживать Михаила Сигизмундовича, а Казимир — Дмитрия Шемяку. Договор развязал Василию руки, он со временем установит власть над Северной Русью, что в конце концов приведет к трагическим последствиям для Великого Княжества Литовского. А пока судьба вновь благоприятствовала Казимиру.

Конфликт с Михаилом Сигизмундовичем неожиданно разрешился в 1452 году, когда этот мятежный князь умер в Москве. Подозревали, что его отравил какой-то игумен, дав ему причастие с ядом. Казимир искренне оплакал брата и раскаялся, что так коварно обошелся с ним. Видно, политические пристрастия не уничтожили в нем человеческих чувств.

Напряженные отношения с Москвой вынуждали Казимира находиться в Литве, да и постоянные требования поляков порядком надоели ему. Поэтому зимой 1450 года он посетил Витебск, Смоленск и Полоцк. Вероятно, тогда Казимир и подтвердил прежние привилеи Полоцкой, Витебской и Смоленской землям. «Новины» Казимир не вводил. В уставной грамоте Полоцку Казимир указывал, «чтобы бояре, мещане, дворяне городские и все посольство жили в согласии и дела бы наши городские делали все вместе согласно, по старине». Он восстановил и Киевское княжество и назначил туда князем Олельку Слуцкого. Делал это с целью лишить своего противника Михаила Сигизмундовича поддержки православных.

А поляки все настойчивее требовали Волыни. Особенно они разозлились на Казимира в 1452 году, когда умер Свидригайло и литвины заняли Луцк. Короля обвинили в потакании Литве, что «доходы королевства переводил на пользу литвинов», а вот права Польши не защищает.

Збигнев Олесницкий вновь укорял Казимира, что он «не слишком заботился о добре и процветании королевства», не подтвердил права, а земли, принадлежащие Польше, забрал; не защищал ее от врагов и разбойников, не заботился о бедняках, а поэтому посоветовал изменить свои обычаи и поступки. А тут еще послы мазовецкого князя Владислава требовали Тыкоцин и Гонядзь, которые король передал ВКЛ. Казимир защитил литвинов: «Справедливо их забрали, как свое». Чем еще больше разозлил поляков, и они начали выговаривать Казимиру за содействие литвинам, обвинять их в неповиновении ему. Король, опустив голову, молча выслушивал укоры, а после на коленях поклялся, что исполнит польские требования. Но на сейме в Серадзе, который начался в августе 1452 года, литвинские послы потребовали, чтобы «Литву оставили в ненарушенных границах, особенно земли Подолья и Луцка». Литвины хотели «жить с поляками в братском союзе и равенстве, а не служить им в подданстве». И хотя те убеждали литвинских послов, что считают литвинов братьями и приятелями, но посольство, услышав про унию, уехало в Литву. Поляки вновь набросились на Казимира. Его прямо обвиняли в измене королевству. Казимир на тайном совете объяснил, что «не мог прозьбы чинити для небезпечности головы своей». Как только в Великом Княжестве узнают о подтверждении унии и передаче Волыни, то литвины откажутся подчиняться ему и открыто или тайно лишат его жизни.

Казимир не зря опасался за свою жизнь. Окружение Яна Гаштольда ставило вопрос об замене Казимира на великом княжении и возведении на него Радзивилла Остиковича. Встревоженный Казимир весной 1453 года приехал на Виленский сейм уладить конфликт. Страсти на сейме между литвинами и поляками из окружения Казимира вылились в потасовку. Кто-то даже ударил великого князя саблей по голове и ранил его.

Казалось, беды посыпались на Казимира со всех сторон. Обвиняли его и поляки, и литвины, никому он не смог угодить. Даже мать «налегала грозьбою», чтобы «пилно справовал» Польшу, а «литвяков от своего обецования преч отдалил». Уже поговаривали об избрании нового короля. И Казимир сдался, поклялся присоединить к Польше не только Волынь, но и все Великое Княжество Литовское. Но просил дать год для исполнения своего обещания. Он предлагал без шума осадить волынские замки польскими гарнизонами, чтобы вывезти в Краков подати с Волыни. С королем согласились, но взяли письменное подтверждение исполнения клятвы.

В Литве решение Казимира расценили как измену Великому Княжеству. Ян Гаштольд и его приверженцы отреклись от гербов, полученных от польских феодалов на Городельском сейме в 1413 году. Правительство Великого Княжества начало готовиться к войне с Польшей. К хану Золотой Орды Сеид-Ахмету отправился с дарами Радзивилл Остикович, чтобы уговорить его напасть на польские земли. Но посол попал в руки к крымскому хану Хаджи-Гирею. Не желая доводить дело до кровавой развязки, Казимир успокоил поляков, подтвердив 30 июня 1453 года привилеи Польскому Королевству, а чтобы и литвины остались довольными, в акте не упомянул о зависимости Великого Княжества Литовского. Казалось, этот компромисс примирит антагонистов, тем более, что полякам стало вскоре не до претензий к Литве.

Польша начала войну с Орденом. В первой же крупной битве 18 сентября 1454 года под Хойницами поляки были разбиты. Сам Казимир, потеряв охрану из литвинов, чуть спасся от погони, скрывшись в болоте. На дороге Казимир встретил подканцлера коронного Яна Рутвенского, который во время битвы мылся в бане. Он обрадованно сказал: «Хвала пану Богу, иж твои милости здорового видим». От обиды король со злостью ответил: «Пане Рутвянски, вы в лазни водой мылися, а мои верные слуги из Литвы в руках неприятельских кровию обмываются». С таким войском и с такими сановниками Казимир навряд ли мог достигнуть победы, но надо было воевать.