После разгона батумской демонстрации рабочих 5 апреля 1902 г. во время заседания Батумского комитета Коба был арестован полицией и провел год в батумской тюрьме, затем был доставлен в Кутаиси. Осенью 1903 г. его отправили по этапу в ссылку в Восточную Сибирь. 27 ноября 1903 г. он прибыл в Иркутскую губернию в село Новая Уда.
Впервые он бежал из Сибири в январе 1904 г. В конце месяца он прибыл в Батум, а потом в Тифлис. По воспоминаниям Иремашвили, в это время он женился на сестре своего товарища-революционера Екатерине Сванидзе. В 1907 г. у них родился сын Яков. Екатерина умерла рано от тифа, когда сыну было 2 месяца. Сталина эта смерть потрясла. Якова с малых лет воспитывали родители жены.
После раскола социал-демократической партии, происшедшего на II съезде РСДРП в 1903 г., на местах шло размежевание, большевики и меньшевики собирали своих единомышленников. На Кавказе господствовали меньшевики, Бакинская типография партии перешла в руки меньшевиков. Предстояло сделать выбор и Сосо. В ноябре 1904 г. в Тифлисе состоялась большевистская конференция, однако данных об участии в ней Сталина нет. Но к этому времени Сталин уже сделал свой выбор в пользу большевиков.
Этому может служить подтверждением статья «Класс пролетариев и партия пролетариев», опубликованная 1 января 1905 г. в газете «Пролетариатис брдзола» («Борьба пролетариата»), которая издавалась нелегально на грузинском языке. Авторство Сталина никем не оспаривается (статья входит в Собрание сочинений Сталина). Эта статья, как следует из ее подзаголовка, разъясняла первый пункт Устава партии. Она была четким выражением позиции в дискуссии между большевиками и меньшевиками. Автор однозначно высказывался за большевистское течение, полностью раскрывая позиции большевиков, отстаивая их принципы организации партии. По его мнению, «наша партия является не скоплением одиночек-болтунов, а организацией руководителей», что партия «уподобилась крепости, двери которой открываются лишь для достойных», что «местные партийные организации составляют одну большую централизованную организацию».
Накануне Первой русской революции, 8 января 1905 г. в нелегальной Авлабарской типографии была напечатана листовка, написанная Кобой: «Рабочие Кавказа, пора отомстить!» (Имеется в Собрании сочинений Сталина. Соч. Т. 1. С. 70.) В этой листовке автор призывал пролетариат к свержению царского самодержавия.
1905 год Коба провел в Тифлисе. Воспоминаний о его участии в революции 1905 г. на Кавказе нет. По мнению Троцкого, Сталин остался как бы вне 1905 г.: «В сущности, он стоял спиной к самой революции, как бы обидевшись на нее». Он занят публицистикой, пишет обращения, прокламации, листовки, статьи, многие за подписью «Тифлисский комитет». В мае 1905 г. выходит брошюра «Коротко о партийных разногласиях», которую Крупская просила прислать за границу. В декабре 1905 г. Коба (под партийной кличкой Иванович) как представитель заказвказских большевистских организаций принимает участие в конференции, которую проводят большевики в финском городе Таммерфорсе. Здесь он в первый раз встретился с Лениным.
В апреле 1906 г. Коба под тем же именем Иванович участвует в IV «Объединительном» съезде РСДРП в Стокгольме, где после поражения революции 1905 г. большевики и меньшевики пытались восстановить единство партии. Коба неоднократно брал слово, выступал в поддержку Ленина, однако по вопросу, стоявшему в центре дискуссии, – вопросу о земле – выразил особое мнение. Он подчеркивал необходимость раздела земли. Коба отверг предложения меньшевиков о муниципализации земли, то есть передаче ее в общественное пользование, а также и предложение большевиков о национализации земли, о передаче ее в государственную собственность. В этом случае он руководствовался весьма практическими соображениями. По личному опыту он знал, что крестьяне мечтают получить землю.
Здесь же, на Стокгольмском съезде, была принята резолюция с осуждением террористических акций, которые в тот период проводили «боевые дружины» рабочей самообороны, которые были созданы большевиками и вооружены в революцию 1905 г. Участников этих отрядов, которые занимались добычей денег и оружия для партии, т. е. фактически грабежом, называли «Эксами» или экспроприаторами. Ленин был против осуждения «эксов» и симпатизировал им. Большевики закрывали глаза и на партизанскую войну, использующую террор, который усилился в наступившие годы реакции и гонений на членов РСДРП.
На V Лондонском съезде РСДРП в 1907 г. была вновь принята резолюция с запрещением такого рода партизанских акций. Ленин голосовал против этой резолюции. Сталин присутствовал на съезде партии в Лондоне в качестве делегата с совещательным голосом. Там произошла его встреча с будущим главным соперником – Л.Д. Троцким.
Роль Сталина в экспроприации остается недоказуемой, хотя многие в партии считали его «эксом». Беспримерное по своей дерзости ограбление тифлисского казначейства на Эриванской площади в Тифлисе в 1907 г., совершенное через полтора месяца после Лондонского съезда, организовал и провел Камо (Тер-Петросян). Об участии в этом Сталина ничего не известно. Известно только, что до и после ограбления Сталин ездил в Берлин и встречался с Лениным. Сам Сталин не подтверждал слухов о своем участии в экспроприации, но и не опровергал их.
Летом 1907 г. Коба переезжает в Баку, где сохранилась Бакинская организация большевиков (руководили ей Шаумян, Джапаридзе, Енукидзе). Профессиональный союз также находился под руководством большевиков. Большевики руководили организацией стачечного движения, а осенью – избирательной кампанией в III Государственную думу. Коба предпочитал работу в подпольном комитете, пытаясь подчинить себе популярных лидеров Шаумяна и Джапаридзе, чем вызывал естественное недовольство.
Сам он так вспоминал об этом периоде своей жизни: «Три года революционной работы среди рабочих нефтяной промышленности закалили меня как практического борца и одного из практических местных руководителей. В общении с такими передовыми рабочими Баку, как Вацек, Саратовец, Фиолетов и др., с одной стороны, и в буре глубочайших конфликтов между рабочими и нефтепромышленниками – с другой стороны, я впервые узнал, что значит руководить большими массами рабочих. Там, в Баку, я получил, таким образом, второе свое боевое революционное крещение. Там я стал подмастерьем от революции».
25 октября 1907 г. на общегородской большевистской конференции Коба был избран членом Бакинского комитета РСДРП. После почти полугода работы в составе комитета 25 марта 1908 г. он был арестован и помещен в Баиловскую тюрьму в Баку. По воспоминаниям социалиста-революционера Верещака, находившегося вместе с Кобой в тюрьме, переполненной арестантами, Коба отличался грубостью, но держался твердо, нервы у него были железные, в тюрьме он изучал язык эсперанто.
9 ноября 1908 г. Иосифа отправляют в ссылку. В январе 1909 г. состав со ссыльными прибыл в Вологду. Местом пребывания ссыльного Кобы был определен город Сольвычегодск. Перенеся возвратный тиф, он добрался 27 февраля до этого города и оставался там до своего побега в июне 1909 г. Судя по скудным свидетельствам, сбежав, Сталин отправился в Петербург, где, встретившись с С.Я. Аллилуевым, отправился в Баку. В Баку он начал восстанавливать издание газеты «Бакинский пролетарий». Очередной номер газеты вышел 1 августа, в нем была напечатана его статья под названием «Партийный кризис и наши задачи». Главной задачей Коба назвал создание общерусской газеты в России, а не за границей.
В ноябре – декабре 1909 г. Коба написал серию статей под заголовком «Письма с Кавказа» для газеты «Социал-демократ», издававшейся в эмиграции.
23 марта 1910 г., на другой день после заседания Бакинского комитета, Джугашвили, действовавший тогда под фамилией Меликянц, был арестован. Он снова попал в Баиловскую тюрьму, а в сентябре был опять выслан в Сольвычегодск. Уже после ареста вышла из печати его статья, посвященная Августу Бебелю.
В июне 1911 г., когда закончился срок ссылки Кобы (ему было запрещено возвращаться на Кавказ, в обе столицы и в фабрично-заводские центры), он остался в Вологде, откуда в начале сентября уехал нелегально в Петербург, чтобы установить связи с местной партийной организацией. 9 сентября, после встречи с С.Я. Аллилуевым, он был вновь арестован и в декабре высылан в Вологду на три года.
