Великий князь жил дружно с братьями до кончины матери — инокини Марфы (1484 г.). Но с этого времени начались взаимные подозрения. Андрей Большой и Борис не могли привыкнуть к новым порядкам, установленным Иоанном. Он, в свою очередь, не доверял братьям, помня их бегство в Литву. Иоанн опасался их тайной связи с этим недругом Москвы. Найдя пустяковый повод, великий князь приказал заковать Андрея в цепи и выслать в Переяславль. Дочерей Андрея оставили на свободе. Чтобы оправдать свои действия, Иоанн III объявил брата изменником. Безусловно, великий князь поступил жестоко и несправедливо. Затем он потребовал к себе Бориса, но не стал его наказывать, и через три дня брат был отпущен в Волок-Ламский. Андрей умер в темнице в 1493 г., недолго жил и Борис, сыновья которого Федор и Иоанн наследовали достояние родителя. Они уступили великому князю Коломну, взяв взамен часть тверских земель. Иоанн Борисович вскоре умер (1503 г.).

Таким образом, в Московском государстве в правление Иоанна III все удельные наследственные княжества подчинились единой великокняжеской власти.

В 1491 г. был открыт Печорский рудник. С этого времени страна стала сама добывать, плавить металлы и чеканить монеты из серебра и золота, лить медали.

Укреплялась и внешняя политика Руси. Иоанн установил дипломатические отношения с Италией, Австрией, другими странами. Впервые великого русского князя послы Рима именовали царем, немцы императором, другие — самодержцем.

В 1493 г. в Москву прибыли послы Дании, державы Тимуридов (Бухара, Хорасан), и Иверского царства (Грузия). Русь издревле поддерживала связи с единоверной Грузией. Как известно, Изяслав I был женат на абазинской княжне, а сын Андрея Боголюбского Георгий был супругом славной грузинской царицы Тамары. Но порой отношения с Грузией надолго прерывались, затем вновь восстанавливались. Именно в 1492 г. произошло укрепление связей двух стран.

Иоанн III наблюдал и за Оттоманской империей. Как зять Палеолога и приверженец греческой церкви, утесняемой турками, он должен был быть врагом Турции, но не хотел себя обманывать: видел, что еще не пришло время Московской Руси бороться с сильным противником. В 1492 г. начали устанавливаться дипломатические отношения Иоанна с турецким султаном Баязетом II. В 1497 г. в Стамбул было отправлено первое русское посольство, которое было поручено Михаилу Андреевичу Плещееву. Турецкий султан Баязет написал Иоанну дружеское письмо, хотя в душе остался недоволен гордостью посла. Но ни та, ни другая сторона «не могла предвидеть, что судьба готовит их к ужасному взаимному противоборству, которому надлежало решить падение Магометанских царств в мире и первенство христианского оружия» (Н.М.Карамзин).

Крымский хан, опасаясь подозрения Иоанна, сносился с казанским ханом только через Москву: всякую их грамоту русские проверяли и читали государю.

Год 1492-й стал переломным во взаимоотношениях Московского княжества с Литвой. Казимир IV был стар и больше не хотел воевать, а Иоанн III, наоборот, был в силе и укреплял государство. Многие жители древней Черниговской земли (Тула, Калуга, Орел) стали уходить из подчинения литовских князей и начали переходить под покровительство Москвы. Уже верхнеокские князья — Одоевские, Воротынские, Белевские, Перемышльские — служили Иоанну и вели напряженные войны с родственниками, которые оставались в Литве. Города Великие Луки и Ржев отказывались платить Литве дань. Иоанн III отправил Казимиру грамоту, в которой указывал, что Великие Луки и Ржев — исконные новгородские земли, и требовал их возврата.

25  июня 1492 г. умер великий князь Литовский и одновременно король Польши (с 1447 г.) Казимир IV. На литовский престол встал его младший сын Александр, а старший — Альберт возглавил Польское королевство.

Иоанн просил хана Менгли-Гирея и молдавского господаря Стефана начать войну против Литвы. Русские войска немедленно выступили в поход — были разорены Мценск и Любутск. Александр больше всего желал с Русью мира. В Москву от него торжественно прибыло посольство, которое предлагало мир и одновременно просило руки дочери Иоанна — Елены. Несмотря на переговоры, военные действия продолжались. Русские заняли города Серпейск, Мещовск, Опаков, Вязьму, Мосальск.

В 1493 г. против Иоанна был раскрыт заговор. Его хотели убить. От литовцев был подослан князь Иоанн Лукомский, который в этом сам признался. Иоанн сохранил ему жизнь и, более того, взял к себе на службу. Несколько позже была открыта целая сеть заговоров. Многих недругов лишили жизни, остальных сослали в отдаленные места.

Менгли-Гирей все-таки открыл военные действия против Литвы. Он подступил к Киеву, выжег черниговские земли. У Иоанна также объявился новый союзник. Это был владетельный князь Конрад Мазовецкий, один из влиятельных польских вельмож, приближенных к королю. Иоанн, очевидно, мог бы присоединить к Руси древние земли, захваченные Литвой. Однако он был умеренным политиком и больше действовал убеждениями, чем силой, хотя у него было немалое войско. Иоанн властвовал уже более 30 лет, ему шел шестой десяток, он хотел спокойствия. В случае захвата литовских земель это возбудило бы против Руси не только Польшу, но и Венгрию, Богемию и другие государства, а этого Иоанн как раз и не хотел. Великий князь направил в Литву Александру письмо, в котором указывал, что князей Воротынских, Белевских, Мезецких и Вяземских, которые перешли служить московскому государю, должны быть переданы ему.

В январе 1494 г. в Москву прибыли литовские послы. После долгих споров решили, чтобы Вязьма, Алексин, Тешилов, Рославль, Венев, Мстиславль, Таруса, Оболенск, Козельск, Серенск, Новосиль, Одоев, Воротынск, Перемышль, Белев, Мещера остались за Русью, а Смоленск, Любутск, Мценск, Брянск, Серпейск, Лучин, Мосальск, Лужин и некоторые другие города по реке Угра — за Литвой.

Князьям мезецким и мещерским дали волю служить, кому хотят. Александр обещал признать великого князя государем всей Руси с условием, что он не будет требовать Киев. Иоанн III в 1494 г. дал согласие выдать свою дочь Елену замуж за Александра с условием сохранения ею православной веры. Литовский народ принял Елену ласково. В это время Менгли-Гирей вошел в литовские земли. Иоанн оказался в затруднительном положении, но дружба с Александром сохранилась.

В течение двух последующих лет велась интенсивная переписка Иоанна с Александром. Великий русский князь остерегал своего зятя от неверных шагов в политике с Турцией, Крымским ханством, Молдавией.

На западе Руси немцы постоянно тревожили население. Поэтому, к великому беспокойству ливонских немцев, Иоанн III в 1492 г. заложил против Нарвы город Ивангород. В ответ на бесчинства немцев были схвачены в Новгороде 49 купцов, которых заточили в темницу. Послы Немецкого Ордена прибыли ходатайствовать о заключенных. Через год ганзейские купцы (кто остался жив) были отпущены на волю. После этого трагического случая прекратилась торговля между союзом северонемецких городов — Ганзой и Новгородом. Торговый центр переместился в Ригу. Лавки Новгорода опустели. Так одним непродуманным действием великий князь разрушил дело, которое налаживалось веками.

В течение 1495 и 1496 гг. произошли военные столкновения Москвы и Стокгольма. Три месяца русские войска осаждали Выборг, но шведов одолеть не удалось. Воеводы удовлетворились опустошением шведских сел на расстоянии 30 — 40 верст от границ. Иоанн с сыном Юрием и внуком, прибыв в Новгород, пытался повлиять на ход воины со Швецией. Состоялся поход на Гамскую землю (Финляндию). Русские войска разбили семь тысяч шведов. Главные силы шведов — 40 тысяч воинов — ждали неприятеля в поле, однако русские не стали давать сражения, а совершив маневр, с добычей и пленниками благополучно возвратились в Москву. В результате этого похода к Московскому княжеству отошли земли по реке Леменга. В отместку шведы с двухтысячным войском взяли Ивангород, разорили его и ушли. Война окончилась, когда датский король, друг Иоанна, в 1496 г. стал шведским королем. Начались активные переговоры, которые длились до 1501 г., уточнялись границы; в итоге Швеция пошла на некоторые территориальные уступки.