Несколько позже другая рать новгородская была разбита на Двине князем Василием Шуйским. Новгород просил мира и получил его, под условием уплаты 15500 рублей, уступки части Заволочья и обязательства не вступать в союз с Литвой. После того, однако, началось постепенное стеснение новгородских вольностей. В 1475 году Иоанн посетил Новгород и судил здесь суд по старине, но затем жалобы новгородцев стали приниматься и в Москве, где по ним и творили суд, вызывая обвиняемых за московскими приставами, вопреки привилегиям Новгорода. Новгородцы терпели эти нарушения своих прав, не давая предлога к полному их уничтожению. В 1477 году такой предлог явился, однако, у Иоанна: новгородские послы, Подвойский Назар и вечевой дьяк Захар, представляясь Иоанну, назвали его не «господином», как обыкновенно, а «государем».

Напрасны были ответы новгородского веча, что оно не давало своим посланникам подобного поручения; Иоанн обвинил новгородцев в запирательстве и нанесении ему бесчестия и в октябре выступил в поход на Новгород. Не встречая сопротивления и отвергая все просьбы о мире и помиловании, он дошел до Новгорода и осадил его. Лишь здесь новгородские послы узнали условия, на которых великий князь соглашался помиловать свою отчину: они заключались в полном уничтожении вечевого управления. Окруженный со всех сторон, Новгород должен был согласиться на эти условия, равно как на отдачу великому князю всех Новоторжских волостей, половины владычних и половины монастырских, успев только выторговать небольшие уступки в интересах бедных монастырей. 15 января 1478 года последовала присяга новгородцев Иоанну на новых условиях, после чего он въехал в город и, захватив вождей враждебной ему партии, отослал их в московские тюрьмы.

Новгород не сразу примирился с своей участью: в следующем же году в нем произошло восстание, поддержанное внушениями Казимира и братьев Иоанна – Андрея Большого и Бориса. Иоанн принудил Новгород покориться, казнил многих виновников восстания, заточил владыку Феофила, выселил из города в московские области более 1000 семей купеческих и детей боярских, переселив на их место новых жителей из Москвы.

Особенно широко применял Иоанн к Новгороду систему выселений: за один 1488 год было выведено в Москву более 7000 житьих людей. Путем таких мер окончательно сломлено было свободолюбивое население Новгорода. Вслед за падением новгородской самостоятельности пала и Вятка, в 1489 году принужденная воеводами Иоанна к полной покорности. Из вечевых городов только Псков сохранял еще старое устройство, достигая этого полной покорностью воле Иоанна, изменявшего, впрочем, исподволь и псковские порядки: так, наместников, избираемых вече, заменили здесь назначаемые исключительно великим князем; отменены были постановления веча о смердах, и псковичи вынуждены были согласиться с этим. Одно за другим падали перед Иоанном и удельные княжества. В 1463 году присоединен был Ярославль, путем уступки своих прав тамошними князьями; в 1474 году ростовские князья продали Иоанну оставшуюся еще за ними половину города. Потом очередь дошла до Твери.

Князь Михаил Борисович, опасаясь возраставшей силы Москвы, женился на внучке литовского князя Казимира и заключил с ним в 1484 году союзный договор. Иоанн успел подавить восстание Новгорода.

1481 году умер Андрей Меньшой, младший брат Иоанна; задолжав ему 30 000 рублей при жизни, он по завещанию оставил ему свой удел, в котором другие братья не получили участия. Десять лет спустя Иоанн арестовал в Москве Андрея Большого, за несколько месяцев до того не выславшего своей рати на татар по его приказу, и посадил его в тесное заключение, в котором тот и умер, в 1494 году; весь удел его был взят великим князем на себя.

Уже в первые десятилетия правления Иоанна многие служилые князья литовские перешли к нему, сохраняя свои вотчины; наиболее видными из них были князья Иван Михайлович Воротынский и Иван Васильевич Бельский. По смерти Казимира, когда Польша избрала королем Яна-Альбрехта, а литовский стол занял Александр, Иоанн начал открытую войну с последним. Сделанная литовским великим князем попытка прекратить борьбу путем родственного союза с московской династией, не привела к ожидавшемуся от нее результату: Иоанн не ранее согласился на брак своей дочери Елены с Александром, как заключив мир, по которому Александр признал за ним титул государя всея Руси и передал ему все приобретенные Москвой во время войны земли. Позже самый родственный союз сделался для Иоанна только лишним предлогом для вмешательства во внутренние дела Литвы и требования прекратить притеснение православных. Сам Иоанн устами отправленных в Крым послов так объяснял свою политику по отношению к Литве: «великому князю нашему с литовским прочного миру нет; литовский хочет у великого князя тех городов и земель, какие у него взяты, а князь великий хочет у него своей отчины, всей земли Русской». Эти обоюдные притязания уже в 1499 году вызвали новую войну между Александром и Иоанном.

Заключенный в 1503 году мир закрепил за Москвой ее новые приобретения, в том числе Чернигов, Стародуб, Новгород-Северский, Путивль, Рыльск и 14 других городов. При Иоанне Московская Русь, усиленная и сплоченная, окончательно сбросила с себя татарское ярмо. Хан Золотой Орды Ахмат еще в 1472 году предпринял, по внушениям польского короля Казимира, поход на Москву, но взял только Алексин и не мог перейти Оки, за которой собралось сильное войско Иоанна. В 1476 году Иоанн отказался платить Ахмату дань, и в 1480 году последний вновь напал на Русь, но у реки Угры был остановлен войском великого князя. Сам Иоанн и теперь еще долго колебался, и лишь настойчивые требования духовенства, особенно ростовского епископа Вассиана, побудили его лично отправиться к войску и прервать переговоры с Ахматом.

Всю осень русское и татарское войско простояли одно против другого на разных сторонах р. Угры; когда стала уже зима, и сильные морозы начали беспокоить плохо одетых татар Ахмата, он, не дождавшись помощи от Казимира, отступил 11 ноября; в следующем году он был убит ногайским князем Иваком, и власть Золотой Орды над Русью рухнула окончательно. Вслед затем Иоанн предпринял наступательные действия по отношению к другому татарскому царству – Казани.

Смерть не позволила Иоанну восстановить утраченную власть над Казанью. С Крымом и Турцией Иоанн поддерживал мирные отношения. Крымский хан Менгли-Гирей, сам угрожаемый Золотой Ордой, был верным союзником Иоанна как против нее, так и против Литвы; с Турцией не только производилась выгодная для русских торговля на Кафинском рынке, но с 1492 года были завязаны и дипломатические сношения при посредстве Менгли-Гирея.

Характер власти московского государя при Иоанне подвергся значительным изменениям, зависевшим не только от фактического его усиления, с падением уделов, но и от появления на подготовленной таким усилением почве новых понятий. С падением Константинополя русские книжники стали переносить на московского князя то представление о царе – главе православного христианства, которое раньше связывалось с именем византийского императора. Такому перенесению способствовала и семейная обстановка Иоанна. Первым браком он женат был на Марии Борисовне Тверской, от которой имел сына Иоанна, прозванного Молодым, сына этого Иоанн назвал великим князем, стремясь упрочить за ним престол. Марья Борисовна умерла в 1467 году, а в 1469 году папа Павел II предложил Иоанну руку Зои, или, как она стала называться в России, Софьи Фоминишны Палеолог, племянницы последнего византийского императора.