10 ноября 1444 года под крепостью Варна погиб в битве с турками король Владислав III. Поляки решили отдать королевскую корону Казимиру и таким образом восстановить унию Польши и Великого Княжества Литовского. Казимир отказался от польской короны. Даже просьбы матери Софии Гольшанской не подействовали на него. В конце 1445 года Казимир созвал в Вильно съезд князей и панов. Были вызваны князья Олелько и Свидригайло. Казимир подтвердил их права на владение соответственно Киевским княжеством и Волынью, чем смирил властолюбивые амбиции князей. Хоть Свидригайло и титуловал себя великим князем, но признавал им и Казимира. То, чего не удалось ни Свидригайле, ни Сигизмунду, сделал юный Казимир: объединил враждующие группировки и добился их единения в сохранении суверенитета Великого Княжества. Понятно, что заслуга в этом прежде всего была панов рады. На съезде говорили, что Великое Княжество не слабее Польши, которая разорена неурядицами бескоролевья, и поэтому не уступит полякам Волынь. Казимиру не нужна польская корона.

На Петрковский сейм приехали послы Казимира князья Василий Друцкий и Юрий Гольшанский и 28 апреля 1446 года они выступили с заявлением: «Казимир вошел в столицу Литовскую не как наместник от Королевства Польского, но как законный и прирожденный наследник Княжества Литовского, который после своих предков Великим Княжеством Литовским законным правом и всем в нем властвует... Великая его земля и волости, богатства и сила, величайшие государства и королевства не могут быть ему дороже. Великий князь не примет пожертвованной ему короны, но и не стерпит, чтобы на польском троне, на его отцовском крае сидел против его воли какой-нибудь иной государь».

Казимир дал понять, что рассматривает Польское Королевство как отцовское наследство и королевскую корону примет как наследник, а не избранный поляками король. А это значило, что он соглашался только на персональную унию между ВКЛ и Польским Королевством, чтобы не потерять Литву. Поляки вынуждены были признать наследственные права Ягеллонов на польский престол, но решили шантажировать Казимира, заставить его быть сговорчивым. 30 июня 1446 года они провозгласили королем мазовецкого князя Болеслава, но короновать его не спешили, а предупредили литвинов, что «вместо доброго для вас короля Казимира станет королем Болеслав, а за великого князя будет его зять Михаил, о первом знаете, что он жестокий, второго узнаете как мстителя за смерть отца».

Вот тогда литвины задумались и разрешили Казимиру принять польское предложение, но взяли с него клятву отменить Кревскую унию, сохранить и расширить территорию Великого Княжества, дать им права выбирать великого князя. Умерили свой жадный аппетит и поляки, понимая, что упрямство литвинов приведет к срыву даже персональной унии. На съезде в сентябре 1446 года в Берестье польские представители согласились на «братский союз» с ВКЛ, о присоединении к Польше уже не напоминали. Отношения между государствами Казимир трактовал как равноправные и союзные. Но с включением в состав ВКЛ Волыни и Западного Подолья поляки не согласились: эти земли они уже считали польскими. Уезжая в Польшу на коронацию, Казимир 2 мая 1447 года выдал общегосударственный привилей, ставший своеобразной конституцией Великого Княжества Литовского. Казимир за «верность уставичную почтивых, достойных, освеченых, выбраных, мудрых прелатов духовных и светьскых княжат, рыцаров, шляхтичов, бояр, местичов земель Великого княжества Литовского и Руского, Жмойтского» милостиво одарил новыми правами и льготами.

Подтверждались прежние привилеи и дары церкви. Декларировался иммунитет от «обмовления». Вина человека должна была быть доказана на суде, за «проступку» отвечает только «виноватец». Разрешалось выезжать «з наших земль... для лепшого исщастиа набытья, а любо учинков рытерьских, до каждых земель, сторон, толко выменяючи, стороны неприательское».

Владельцы имений могли свободно ими распоряжаться. Великий князь отказался от взимания военной подати — «серебщизны» без согласия шляхты. Сохранялись повинности для крестьян «будованье городов наших новых потребных, а старых поправления», строительства и ремонт мостов. Преступник теперь «пану своему, а не иному будет обязан заплатить». И главное: Казимир подтверждал целостность Великого Княжества. «А також обецюем и слюбуем, ижь панства нашего земель, великого князьства предреченого, не вменшим, але у границах, как же предкы были наши, на имя князь Александр, нареченный Витовт, дядя наш, и иные дръжали и володели, такожь и мы тыежь земли здорови, целы, держати будем, и володети и щитити, а с Божьею помочью и всими силами размножати будем». Города, имения, уряды должны даваться «родичам тых земель наших предреченных Великого князьства Литовского».

25 июня 1447 года Казимир был коронован в Кракове на польского короля. Таким образом персональная уния была восстановлена.

Время правления Казимира в Великом Княжестве Литовском, Русском и Жемойтском было положительно оценено современниками. В «Хронике Быховца» отмечено: «Был велики князь Казимир сем год князем литовским, и панства вси, што к Великому Княжеству прыслухают, в целости одержал и в покои, и которые земли не хотели его послушни быть и к Великому Княжеству, и он тых всих прывернул, и вси панства впокоил».

Дальнейшая судьба Казимира — это судьба человека, оказавшегося между Сциллой и Харибдой. С одной стороны, он польский король и должен заботиться о Польше, а с другой — правитель Великого Княжества Литовского, где совсем иные интересы, противоположные польским. Нужно было иметь политическое чутье, находить компромиссные решения. Нужно было владеть собой, не горячиться, не делать глупостей. Нельзя было ожидать от слабовольного Казимира, что он будет твердо держать власть. Все больше он попадал под влияние поляков. Летописцы описывают его несчастным, пережившим немало огорчений и неприятностей, правителем.

Польские сенаторы сразу потребовали от Казимира присоединения к Польше Волыни. И он, не разжигая страсти поляков, обещал им Волынь, но не спешил исполнять свое обещание. А когда ему напомнили о присоединении Волыни, ответил, что для этого нужно согласие литвинов и он не может «во вред Великого Княжества подтвердить права Королевства Польского». Возмущенная шляхта пригрозила королю: «Отказываемся от всякого послушания, пока права и свободы Королевства Польского письменно не подтвердишь». Казимир уехал в Литву, где прожил с осени 1447 по май 1448 года, охотясь по пущам. И только его мать София Гольшанская уговорила Казимира вернуться в Польшу. На Люблинском сейме поляки начали требовать от Казимира присоединения уже всего Великого Княжества к Польше. Но встретили упорное сопротивление литвинских послов, которые настаивали вычеркнуть из акта Городельской унии артикул «О вечном соединении Литвы с Польшею». «Пускай два государства соединятся в особе одного правителя, и то, если не будут нарушены наши интересы», — заявили литвины. Поляки, наоборот, предлагали войти Литве в состав Польского Королевства на тех же условиях, что и другие польские земли, и тогда кончатся бесплодные споры между поляками и литвинами. Но послы заявили, что они не согласны на такие условия, ибо это позор — отмена титула великого князя литовского, русского и жемайтского. В свою очередь литвины требовали возвращения ВКЛ Владимира, Олесно, Ратно и Западного Подолья. Поняв, что ничего не добьются, поляки обещаниями успокоили литвинских послов. А когда те уехали из Люблина, взялись за Казимира. На этот раз они постарались не выпустить Казимира и повезли его в Краков. Чуть вырвался он в Литву. Не нравились молодому королю наглые домогания поляков. Поэтому на съезде в Новогородке Казимир с послами от земель ВКЛ постановил ни в коем случае не идти на унию с Польшей. Съезд прервала весть, что Михаил Сигизмундович поднял мятеж. Он нашел себе союзника — хана Большой Орды Сеид-Ахмета.