Несогласованностью действий своих противников воспользовался Иван III. В октябре 1501 г. в ответ на нападение ливонцев на Изборск и Остров и литовский рейд на Опочку, к северо-западным рубежам страны была направлена большая московская армия во главе с воеводами Даниилом Васильевичем Щеней и князем Александром Васильевичем Оболенским. В состав русской рати входил также татарский отряд хана Мухаммед-Эмина. Великокняжеские войска, соединившись с псковичами, в конце октября в районе города Мариенбурга перешли границу и вторглись в Ливонию. Восточные земли Ордена и особенно владения Дерптского епископства, подверглись страшному опустошению. Магистр Плеттенберг решил воспользоваться разделением русского войска (псковская рать действовала в трех днях пути от главных сил армии Щени) и в ночь на 24 ноября 1501 г. атаковал московские полки в их лагере под замком Гельмед, недалеко от Дерпта. По-видимому, в результате внезапной атаки, которая произошла в 3 часа ночи, русские войска смешались, отступив назад. Только так можно объяснить гибель в самом начале сражения одного из великокняжеских воевод Александра Васильевича Оболенского. Но затем московская и татарская конница опрокинули немцев, и сражение закончилось большой русской победой. Преследование бегущих продолжалось почти 10 верст. В бою и во время бегства погибло значительное число рыцарей и их слуг, но, конечно, не «40 тысяч орденских братьев», как отмечено в одной из последних коллективных монографий по военной истории. Указывая, что Ливония лишилась 40 тысяч жителей убитыми и взятыми в плен русскими, Бальтазар Рюссов имел в виду не погибших под Гельмедом рыцарей, а общее число потерь в результате русского вторжения, когда опустошены были восточные земли Ордена, а многие жители этих мест уведены в плен.

Зимой 1501/02 г. войско Д. В. Щени, переброшенное под Ивангород, совершило поход в Ливонию, на Ревель (русское название Колывань). Во время этой экспедиции московская рать «землю Немецкую учиниша пусту».

Лишь весной 1502 г., оправившись от прежних поражений, ливонцы вновь перешли русскую границу. На этот раз они атаковали на двух направлениях. Большой немецкий отряд напал на Ивангород, а другой — на небольшую псковскую крепость Красный городок. В сражении «на заставе» под Ивангородом, произошедшем 9 марта 1502 г., погиб новгородский наместник Иван Андреевич Лобан Колычев и еще 20 русских воинов (по немецким данным — 200), однако нападение рыцарей было отбито.

На Псковской земле немцев также преследовали неудачи. 17 марта рыцарское войско осадило Красный городок, но взять эту небольшую крепость так и не смогло. Узнав о приближении большого псковского войска, противник, не принимая сражения, поспешно снял осаду и отступил в свои замки.

В начале осени 1502 г., в разгар начатой русскими осады Смоленска, магистр Плеттенберг предпринял новое наступление на Псков, чтобы помочь своим литовским союзникам. 2 сентября его 15-тысячное войско подошло к Изборску и попыталось штурмом овладеть этой крепостью, но приступ был отбит. В ту же ночь ливонцы сняли осаду и выступили на Псков, осада которого началась 6 сентября. Хорошо укрепленный Псков упорно оборонялся. В двух местах — в Заволочье, а затем «на Полонище» — немцы пытались сокрушить его стены огнем своих орудий. Однако разрушить псковские укрепления им не удалось. Тем временем на помощь псковичам спешило из Новгорода войско под командованием воевод Д. В. Щени, И. В. и В. В. Шуйских. Немецкая армия стала отходить к своей границе, но 13 сентября 1502 г. у озера Смолина, в 30 верстах от Пскова, она было настигнуто русской ратью. Рыцарей спасла устроенная магистром Плеттенбергом военная хитрость. Покинув лагерь, ливонцы дождались нападения противника и, когда русские воины увлеклись захватом трофеев, контратаковали их. С большим трудом воеводам удалось навести порядок в своих полках, отбить нападение немцев и заставить их уйти на свою территорию. Потери, понесенные русскими войсками, были значительными. Среди погибших оказалось несколько видных московских воевод: «И на том бою оубиша князя Федора Кропотича (по Воскресенской летописи Андрея Александровича Кропоткина. — В. В.) да Григорья Дмитриева сына Давыдовича, да Юрья Тимофеева сына Юрлова и иных многих детей боярских».

В борьбе с Московским государством существенную помощь Александру Казимировичу помимо Ливонского ордена оказал татарский хан Шейх-Ахмет (Шиг-Ахмет, Шайх-Ахмад). С просьбой о помощи против России и Крыма к нему был направлен литовский посол Михаил Халецкий. В 1500 г. и первой половине 1501 г. Шейх-Ахмет воевал с Крымским ханством, но осенью 1501 г. его войска напали на Северскую землю и, разорив окрестности Стародуба, захватили Рыльск и Новгород-Северский. Отдельные татарские отряды во время этого похода достигли даже окрестностей Брянска.

Несмотря на вступление в войну на стороне Великого княжества Литовского Ливонского Ордена и Большой Орды, воеводы Ивана III уже осенью 1501 г. начали новое наступление в глубь литовской территории. Войско перешедших на его сторону северских князей Василия Ивановича Шемячича и Семена Ивановича Можайского с приданной им ратью московских воевод Семен Ивановича Воронцова и Григория Федоровича Давыдова, выступило к Мстиславлю, захватив который русская армия могла продолжить наступление на Смоленск. 4 ноября 1501 г. ее продвижение попыталось задержать литовское войско под командованием князя Михаила Ивановича Ижеславского и воеводы Евстафия Дашковича. Недалеко от Мстиславля произошло сражение, закончившееся победой русского оружия. Литовцы бежали, потеряв около 7 тыс. человек и все знамена. Однако овладеть Мстиславлем, где укрылись остатки войска князя Ижеславского, московским воеводам не удалось и они были вынуждены отойти, ограничившись разорением Мстиславльского уезда.

По-видимому, это отступление было связано с произошедшими тогда татарскими нападениями на северские города — вотчины Василия Ивановича Шемячича и Семена Ивановича Можайского. В наказе, данном послам, направленным в Крым, и датированном 7 ноября 1501 г., Иван III писал: «Ших-Ахмет царь пришел на наших князей отчину к Рылску, и нынеча тот наш недруг Ших-Ахмет царь наших князей княж Семенову Ивановича и княж Васильеву Шемячича вотчину воюет, а с нашим недругом с литовским ссылается. А наши князи и наши воеводы стоят против их, и мы ныне к своим князем послали воевод своих со многими людми». Прибытие в северские города русских войск, переброшенных с западной границы, вынудило татар отступить. Остановившись «в Поле» между Черниговом и Киевом, Шейх-Ахмет ожидал соединения с литовскими войсками, чтобы возобновить нападения на русские земли. Однако его орда подверглась нападению союзника Москвы крымского хана Менгли-Гирея. В шедших зимой и летом 1502 г. в степи сражениях крымцы нанесли ряд поражений войскам Шейх-Ахмета. Особенно сокрушительным был июньский разгром Большой Орды, надолго устранивший опасность новых татарских набегов на южнорусские города и уезды. Шей-Ахмет бежал в Литву, где вскоре он был пленен вероломными союзниками и заточен в замке Ковно.

Вынужденные действовать с оглядкой на происходившие в степи события, где завершалось противостояние Большой Орды и Крымского ханства, Иван III готовил новое наступление на западном рубеже. На этот раз целью русского похода должен был стать Смоленск. Военные действия начались летом 1502 г. Поставив во главе русской армии одного из своих сыновей, двадцатилетнего Дмитрия Ивановича Жилку, великий князь поставил под его начало опытных воевод князя Василия Даниловича Холмского и Яков Захарьича. Для действий на смоленском направлении были собраны значительные силы, включая посоху, но начатая в конце июля осада Смоленска оказалась безрезультатной. Единственным успехом кампании 1502 г. стал захват одним из русских отрядов города Орши. Но уже 14 сентября полки Дмитрия Жилки отступили от Смоленска. На выручку этой крепости спешило большое литовское войско под командованием старосты жемайтского Станислава Яновского, освободившего к тому времени Оршу.