Позже, в 1368 году, Ольгерд провел важную реформу, направленную на ограничение власти жрецов-кревов. Наместники Ольгерда теперь «то само яко кревовие[26] с тоюж моцою судили и суды свои в дело вводили». Ольгерд решительно менял старый уклад жизни своих подданных. Сила жреческой касты была сломлена. Эти случаи и показывают рост Ольгердовой власти. Вначале он зависит от разных политических групп, но потом «держал свою державу в великом порядку».

В борьбе за бывшие земли Древней Руси Ольгерд, как Гедимин, столкнулся с Великим Княжеством Владимирским. Ольгерд поддерживает своих союзников, тверских князей, даже после смерти жены Марии Витебской женится в 1350 году на княгине Ульяне Тверской. В 1368 году московский князь Дмитрий Иванович выгнал из Твери князя Михаила Александровича. Князь прибежал в Литву к Ольгерду и просил его пойти ратью к Москве, при этом молился и бил челом со слезами. Михаил Александрович просил у дочери, великой княгини Ульяны, содействия, и она начала понуждать Ольгерда заступиться за своего отца. Как оказалось, Ольгерд был под ее сильным влиянием, поэтому, «жены своеа молениа слушаа», пошел на Москву. Но не только это вынудило Ольгерда начать войну с Дмитрием Ивановичем. Московский удельный князь Владимир Серпуховский захватил Ржев, и Ольгерд желал возвратить этот город. Поход готовился тайно. Несколько тысяч человек мостили по лесам дороги, наводили мосты через реки, гати на болотах. В поход выступили Кейстут и его сын Витовт, который «тогда бо еще младъ и неславенъ», смоленская рать. Поход был стремительным и неожиданным для Дмитрия Ивановича; он даже не успел подготовиться к его отражению. Русский летописец подробно описывает тактику Ольгерда: «Бе же обычай Олгерда Гедименовича таковъ; никто же не ведаше его, куды мысляше ратью ити, или на что събираеть воинства много, понеже и сами так воинствении чинове и рать вся не ведяше, куды идяше, ни свои, ни чюжии, ни гости свои, ни гости пришельци; въ таинстве все творяше любомудро, да не изыдеть весть въ землю, на неяже хощеть ити ратью, и таковою хитростию изкрадываше, многи земли поималъ и многи грады и страны попленилъ; не толико силою, елико мудростию воеваше, и бысть отъ него страхъ на всехъ, и превзыде княжением и богатьством паче многихъ».

Но и сила нужна была. Благодаря перевесу своего войска 21 ноября на реке Тростне Ольгерд разбил московский, коломенский и дмитриевский сторожевые полки и подошел к Москве. Напуганный князь Дмитрий Иванович спрятался за мощные каменные стены кремля, построенного за год до этого. Три дня простоял Ольгерд с войском около Московского кремля, пока Дмитрий Иванович не запросил мира. По договору Тверь вновь переходила к законному владельцу князю Михаилу Александровичу. Дмитрий Иванович отказывался вмешиваться в дела Тверского княжества. Ржев возвращался Великому Княжеству Литовскому. Граница Великого Княжества Литовского с Великим Княжеством Владимирским пролегла «по Можайск а по Коломну».

Добившись своего, Ольгерд 27 ноября отошел от Москвы, предавая огню и опустошению все на своем пути. Красочно рассказывает об этом походе «Хроника Быховца»: «И в тыи часы князь велики Олгерд Гидыминович литовский и руский, справуючы радне господарство свое, и не малы час пановал у Великом княстве Литовском, и был в докончании[27] и в доброй прыязни з великим князем Дмитрием Ивановичом московским. Которы же князь велики без кождое прычыны, опустившы докончания и прыязнь, и прыслал до великого князя Олгерда посла своего со одповедию, а прыслал к нему огонь и саблю, и даючы ему видати, што «буду в земли твоей по красной весне, по тихому лету». И князь велики Олгерд вынял с огнива губку а кремень, и, запалившы губку, дал послу, а рек так: «Дай то господару и поведай ему, што у нас в Литве огонь есть, же бо он одказывает до мене, хотячы в моей земли быти по красное весне и по тихому лету. А я дасть Бог в него буду на Велик день, а поцалую его красным яйцом — через шчыт с улицою, а з Божыю помочыю к городу его Москве копие свое прыслоню; бо не той валечник,[28] щто часу подобного вальчыт, але той валечник, коли непогода вальки, тогды над непрыятелем своим непрыязни доводит». И одпустившы посла и собравшы войска свои вси литовские и руские, и пошел з Витебска просто ку Москве. И на самы Велики день рано князь велики со бояры и со князи от завутрыни идет з церкви, а князь велики Олгирд со всими силами своими, роспустившы хоругви свои, вказался на Поклонной горе.

И видячы то князь велики московски и впаде в страх велик и ужасеся, видячы великого князя Олгерда з великою силою его, иж прышол на него так моцне а сильне подлуг слова своего. И не могучы ему жадного одпору вчынити, и послал до него, просячы его и великия дары ему обицаючы, абы его з ойчызны его Москвы не выгнал, а гнев бы свой одпустил, и взял бы в него, што хотел.

И князь велики Олгерд сожалился, и ласку свою вчынил, и з Москвы его не добывал, и мир с ним взял. А затым, змову вчынившы, и сам князь велики московски к нему выехал и с ним виделся, и дары многими безчысленне, золота, серебра и дорогим жемчугом, и собольми и инным дорогим а дивным зверем мохнатым князя великого Ольгерда даровал, и шкоду, которую он прынял в земли его идучы, ему заступил.[29] И затым князь велики Олгерд рек князю великому московскому: «Ачкольвек есми з тобою перемирылся, але ми ся иначей вчинить не годит, только мушу под городом твоим Москвою копие свое прыслонити, а тую славу вчынити, што велики князь литовски и руски, и жомойтски Олгерд копие свое под Москвою прыслонил». И вшедшы сам на конь, и копие вземшы в руку, и прыехавшы ко городу и копие свое к стени прыслонил, и едучы назад рекл так великим голосом: «Княже велики московски! Паметай то, што копие литовское стояло под Москвою».

Очевидно, что рассказ из «Хроники Быховца» — красочный вымысел летописца, который гордился правителем Великого Княжества Литовского, его находчивостью и решимостью. Но в памяти русских летописцев этот поход остался как «первое зло от Литвы». «Остаток посада пожже, и монастыри, и церкви, и волости, и села попали, а христианы изсече, а ины в полон поведе, иже не успели разбежатися, первое зло от Литвы створися окаянно и всегубительно», — написано про это «зло» в Никоновской летописи. Зато тверской летописец оправдывал Ольгерда, заметив, что он учинил «лихо за лихо». Во время этого похода Ольгерд расправился с князем Семеном Дмитриевичем Стародубским, желавшим вернуть Стародубское княжество, а в Оболенске убил князя Константина Юрьевича.

Конфликт с Москвой со временем перерос в многолетние войны, которые шли с переменным успехом.

Дмитрий Иванович не держал мира. Зимой 1369 года московская и волоколамская рати захватили Ржевскую волость. Потерпели и союзники Ольгерда. Дмитрий Иванович пленил нижегородского князя Бориса, зятя Ольгерда, а его княжество стало добычей московского князя. Досталось и новосильскому князю Ивану, чье княжество захватили московские полки: его мать и жена, дочь Ольгерда, взяты в плен. Летом 1370 года московские полки напали на Брянск, а зимой воевали с Тверским княжеством. Надо было наносить ответный удар, чтобы утихомирить агрессию Дмитрия Ивановича. Убежавший в Литву князь Михаил Александрович опять просил заступиться за него.