В феврале 1701 г. Петр близ Динабурга в местечке Биржах виделся с королем Августом, на которого теперь обратился Карл XII. Петр и Август условились продолжать борьбу со Швецией, причем Петр обязался помогать Августу войсками, отдавал ему в случае успеха Эстляндию и Лифляндию, но оставлял себе свободу действий в Ингрии и Карелии и в завоевании этих областей полагал свою конечную цель. Летом 1701 г. начались военные действия у Финского залива и в Польше. В продолжение нескольких лет Петр делил свои силы надвое: на севере он действовал за себя, в Польше помогал Августу.
На севере у Финского залива дела шли удачно для Петра. Слабые силы, оставленные Карлом для защиты Эстляндии и Лифляндии, не могли отразить русских войск. В 1701 и 1702 гг. Шереметев с большой армией опустошил эти области и два раза разбил шведского генерала Шлиппенбаха (при Эрестфере в декабре 1701 и Гуммельсгофе в июле 1702 г.). Первые победы очень радовали Петра. Сам он не принимал постоянного участия в военных действиях против шведов. Он оставил на свою долю трудное дело организации государственной защиты и военных сил. Он ездил из конца в конец по России: в Архангельске принимал меры против нападения шведов с моря; в Москве следил за общим ходом военных приготовлений; в Воронеже удостоверялся, годен ли недавно сооруженный флот для защиты южных областей в случае нападения турок. Ежегодно появлялся он и на театре войны. В 1702 г. Петр из Архангельска без дорог, через леса и болота прошел до Ладожского озера и протащил с собой две яхты (следы рубленых им просек видны до сих пор). Явившись к истокам Невы и действуя с корпусом Апраксина, Петр взял здесь шведскую крепость Нотебург (древние новгородцы владели им и звали его Орешком; Петр назвал его Шлиссельбургом, т. е. ключом к морю). Весной 1703 г., после поездки в Воронеж, Петр снова явился на Неве с войсками Шереметева, взял укрепление Ниеншанц (вблизи от устьев Невы) и основал при море укрепленную гавань Петербург (в мае 1703 г.). Место было выбрано для первой русской гавани не без расчета: во-первых – восточный берег Финского залива есть ближайший к Руси пункт Балтийского поморья (о Риге Петр тогда еще не мог мечтать), а во-вторых – Нева, на которой основан был порт, представляет конец естественной системы водных путей, лежащих внутри России. Петр очень дорожил новой гаванью и все дальнейшие военные операции на севере направлялись к тому, чтобы обеспечить обладание Петербургом. С этой целью шло систематическое завоевание южного берега Финского залива: были взяты Копорье, Ям (Ямбург), Нарва. В 1704 г. был взят самим Петром Дерпт. На Финском заливе Петр немедленно завел флот, а в новый порт приглашались иностранные корабли, чтобы тотчас начать и торговлю с Западом новым путем.
На другом театре войны, в Польше, дела шли не так удачно. Летом 1701 г. соединенные русско-саксонские войска были разбиты Карлом, который, тесня Августа в Польше, добился «детронизации» Августа и возвел на польский престол познанского воеводу Станислава Лещинского. Но многие паны держались Августа, и в Польше настало междоусобие. В 1705 г. Петр, после успехов своих на Балтийском побережье, решился поддержать Августа серьезно, чтобы не потерять с его падением и последнего союзника. Русская армия в 60 000 человек вошла в Курляндию и Польшу. Но после некоторых успехов русских Карл принудил главные силы русской армии отступить от Гродно к Киеву, и только военный талант Меншикова, берегшего солдат по приказу Петра, дал возможность русским сохранить артиллерию и боевой порядок. Саксонские же войска (с вспомогательным русским корпусом) были разбиты Карлом в Силезии. В 1706 г. неудачи продолжались: Карл напал на Августа в самой Саксонии и принудил его к заключению мира (в Альтранштадте), по которому Август отказался от польской короны и от союза с Петром (при этом Паткуль был выдан Карлу). Петр остался без союзников, в единоборстве с таким королем, который приобрел в Европе славу непобедимого.
Положение Петра представлялось ему самому крайне тяжелым: в письмах своих в то время он подписывался «печали исполненный Петр». Но и с печалью в сердце он не потерял своей энергии. Ожидая врага с юго-запада, Петр укреплял границы и в то же время старался в самой Польше найти опору против Карла и его союзника короля Станислава. Петр вошел в сношение с панами, недовольными Станиславом, и искал человека, которого можно было бы противопоставить Лещинскому в качестве претендента в короли польские. Но эти старания не увенчались успехом. После Альтранштадтского мира Карл в 1707 г. перешел в Польшу и распоряжался ею.
Только в декабре 1707 г. начал он наступление против Петра и занял Гродно (через два часа после отъезда из Гродно Петра). Русские отступали. Ясно было, что наступал кризис войны, подходили решительные минуты. Карл из Гродно мог двинуться или на север, чтобы отнять у Петра завоевания на берегах Балтийского моря, или на северо-восток, на Москву, с целью в корне подорвать силы Петра. Петр не знал, чего ждать. Москву укрепляли под руководством царевича Алексея Петровича, южная армия была поручена Меншикову, заботы о завоеванном Прибалтийском крае взял на себя Петр. Он удалился с юга в Петербург в тяжелом, угнетенном настроении духа. Болея телом и духом, тревожно ожидая развязки войны, он просил Меншикова не вызывать его из Петербурга без крайней надобности и требовал, чтобы Меншиков держался против Карла с полной осторожностью. Однако Петр скоро сам оставил Петербург и принял деятельное участие в кампании 1708 г.
Эта кампания 1708 г. далеко не была проигрышем для русских. Карл начал наступление к Москве, с боя завладел переправой через Березину (при Головчине), дошел до Могилева и ждал соединения с вспомогательным корпусом Левенгаупта, который из Лифляндии шел на помощь к королю с большими запасами продовольствия. Но благодаря стратегическим оплошностям Карла, часть его войска была поражена при м. Добром кн. М. М. Голицыным, а весь корпус Левенгаупта был наголову разбит Петром при деревне Лесной 28 сентября 1708 г. Все запасы попали в руки русских. Теперь вся надежда Карла была на Малороссию, где он рассчитывал найти запасы и союзника в лице гетмана Мазепы. Победа при Лесной была большим успехом Петра: он называл день 28 сентября «начальным днем нашего добра», и это была правда; перевес военного счастья стал склоняться заметно на сторону Петра с этого 1708 года.
Карл и в Малороссии потерпел неудачу. Малороссия, во второй половине XVII в. присоединенная к Москве, жила до времени Петра неспокойной внутренней жизнью; в ней постоянно шло брожение, была рознь общественных классов. Задачей Москвы было уничтожение этой розни, но московские меры не всех удовлетворяли: если низшие классы малороссиян были довольны сменой польского господства на московское, то высший класс – казачья старшина – скорее желал занять место польского панства в Малороссии и сочувствовал польскому строю жизни. Вместе с тем стремление Москвы крепче взять в руки Малороссию и получить больший контроль в малорусских делах не нравилось многим малороссиянам. Малороссийские гетманы всегда были в трудном положении: с одной стороны – Москва, требующая строгого подчинения, с другой стороны – малорусское общество, требующее автономии; с одной стороны – Москва, требующая порядка, с другой – внутренний раздор, партии, стремящиеся к господству в стране. Эти обстоятельства делали гетманов жертвой самых разнообразных и противоположных влияний, происков, интриг, – ив результате «после Богдана Хмельницкого, – как говорит С. М. Соловьев, – не было ни одного гетмана в Малороссии, который бы спокойно кончил жизнь свою в гетманском достоинстве». В течение десятилетнего гетманства Мазепа не только умел держать в руках малорусское общество, но успел и в Москве заслужить редкое доверие Петра. Петр не верил многочисленным доносам на Мазепу, а сам Мазепа умел убедительно оправдываться от обвинений. Когда Карл в 1707 г. решил идти на Россию, то Мазепа был убежден, что Петру не справиться с врагом, и рассчитывал, что если Малороссия останется верной побежденной Москве, то победители Карл и Станислав Лещинский не пощадят ни Мазепу, ни Малороссию. Если же Малороссия перейдет ранее на ту сторону, чья победа вероятнее, то такой переход обеспечит в будущем и самостоятельность внутренней жизни Малороссии, и высокое положение гетмана. По этим соображениям, как объясняют наши историки, Мазепа решил отложиться от Московского государства и стал союзником Карла. При таком шаге он надеялся на сочувствие всех тех, кто был недоволен режимом Москвы. Гетман думал, что за ним пойдет вся Малороссия.