Иван Николаевич Ефремов родился 6 января 1866 года в родовитой дворянской семье. Он принадлежал к числу крупных помещиков области Войска Донского. Иван Ефремов блестяще окончил новочеркасскую гимназию, получив вместе с аттестатом зрелости золотую медаль. После этого он поступил на физико-математический факультет Московского университета, где в течение четырех лет слушал лекции и сдал все зачеты. Однако государственный экзамен держать не стал и вышел из университета. Некоторое время он занимался исключительно сельским хозяйством, а в январе 1892 года областным дворянским собранием был избран почетным попечителем Донской новочеркасской классической гимназии сроком на три года. В августе он был утвержден в этой должности.

В том же году 6 октября И. Н. Ефремов был избран (на три года) почетным мировым судьей Донецкого округа, а 1 февраля 1893 года Правительствующий сенат утвердил это решение. Тогда же приказом по ведомству Министерства юстиции от 16 февраля 1893 года он был «приглашен» к участию в Донецком окружном по крестьянским делам присутствии на период с 1893 по 1895 год.

В последующем И. Н. Ефремов вплоть до Февральской революции каждые три года выбирался в почетные мировые судьи Донецкого округа, причем дважды, в 1895–1898 и 1901–1904 годах, был председателем съезда мировых судей. До 1904 года он совмещал эту должность с выполнением функций почетного попечителя Новочеркасской гимназии и работой в окружном по крестьянским делам присутствии.

Иван Николаевич Ефремов с восторгом принял октябрьский манифест 1905 года, впервые предоставивший гражданам России, хотя и урезанные, но все же более или менее демократические права и свободы. Он с головой окунулся в политику и, благодаря своей широкой известности на Дону, на съезде землевладельцев абсолютным большинством голосов был избран депутатом I Государственной думы от Области Войска Донского. Ефремов участвовал в создании партии «Мирное обновление», близко примыкавшей по своим позициям к октябристам. С думской трибуны он тщетно призывал депутатов осудить всякое насилие, в том числе и распространившиеся в стране аграрные беспорядки. Перед роспуском думы И. Н. Ефремов предлагал закончить обращение к народу следующими словами: «Государственная дума, действительно пекущаяся об установлении законности и благополучии всего народа, высказывается против погромов, пожаров, грабежей и считает своей задачей осудить всякое насилие и всякий произвол, откуда бы он ни шел». Однако к его голосу тогда еще не прислушивались — молодой политик не имел большого общественного веса.

Во II Государственной думе, просуществовавшей всего несколько месяцев, Ефремов не участвовал. Тем не менее перед ее созывом он опубликовал в «Московском еженедельнике» большую статью о задачах Государственной думы. В ней были сформулированы идеи, которые стали основополагающими во всей деятельности И. Н. Ефремова в III, а затем и IV Государственных думах. «Пора отказаться от правительственного насилия и беззакония и очистить место праву и свободе. Пора возвратить закону его великое значение, чтобы он один действительно определял взаимоотношения государства и его органов с гражданами и этих последних между собою, и чтобы все, от мала до велика, ему неизменно подчинялись, — писал И. Н. Ефремов. — Бесправие граждан и произвол властей развратили все классы. Не видя уважения своих прав, не находя непоколебимой опоры в самом законе и суде, мы привыкли в России не уважать права соседа и преклоняемся лишь перед силой… Чтобы укрепить в народе, во всех слоях его, чувство законности и права, сознание обязанности самому заботиться о своем благополучии и бороться за него, необходимо твердо и последовательно провести во всем государственном строе начала законности и самоуправления…»

Продолжая служить почетным мировым судьей (без жалованья), И. Н. Ефремов достиг в 1908 году чина надворного советника. К этому времени он уже имел ордена Св. Станислава 3-й степени и Св. Анны 2-й и 3-й степеней.

Выбранный в III, а затем и IV Государственные думы, Иван Николаевич развил активную деятельность и быстро выдвинулся в число видных общественных лидеров. Для претворения в жизнь своих идей обновления российской жизни он обратился через печать с открытым письмом ко всем беспартийным прогрессивным членам Государственной думы. Он призывал их объединиться. «Для осведомления, взаимного ознакомления и сближения» Ефремов предложил свою квартиру. Он указывал, что, оставаясь «диким», то есть не входя в какую-либо организацию, беспартийный член думы чрезвычайно затрудняет свою деятельность: он лишает себя той осведомленности, которую дают групповые или фракционные собрания, не может попасть в комиссию, не может рассчитывать на поддержку товарищей, на «ободряющее общение с людьми, довольно близких по политическим взглядам».

Деятельность И. Н. Ефремова в Государственной думе была обширной и разносторонней. Он был одним из организаторов межпарламентского «общества мира», неоднократно участвовал в международных конгрессах и был избран в центральное бюро Межпарламентского союза мира. По этим вопросам он издал несколько книг, в частности, «Международный третейский суд» (1909 год) и «Русское народное представительство в Англии и Франции в 1909 году» (1911 год).

В Государственной думе Ефремов стал членом Совета старейшин, а также входил в члены бюро Прогрессивного блока. В октябре 1916 года в знак протеста на отказ кадетов включить в основную тактику Прогрессивного блока лозунг об «ответственном министерстве» он вышел из блока с рядом своих сторонников.

В конце 1916 — и начале 1917 года, когда революционная стихия в стране обострилась, И. Н. Ефремов, вместе с некоторыми другими депутатами: А. Ф. Керенским, Н. В. Некрасовым, М. И. Терещенко, А. И. Коноваловым, выступал за более решительную и активную борьбу с правительством, причем призывал к этому не только с думской трибуны, но и путем мобилизации народа и общественных организаций.

27 февраля 1917 года Ефремов был избран членом Временного комитета Государственной думы и являлся активным участником всех последующих за этим событий. Совместно с Д. П. Капнистом, А. М. Масленниковым и М. И. Арефьевым он стал комиссаром Временного правительства в Министерстве внутренних дел и исполнял эту должность до принятия министерства князем Львовым (бывшим одновременно и министром-председателем).

В первые дни революции Ефремов, как впрочем и другие революционные лидеры, работал исключительно много и плодотворно, успевая повсюду. Он являлся членом Особого совещания по подготовке Положения о выборах в Учредительное собрание. В этот период детище И. Н. Ефремова — Прогрессивная партия — переживало не лучшие свои времена. Чтобы избежать распада, он продумывает вопрос о слиянии ее с какой-либо иной «нарождающейся» партией. Его внимание привлекла Радикально-демократическая партия, которая к тому времени развила бурную деятельность: печатала брошюры, готовила к изданию свою газету, открыла ряд филиалов в провинции и т. п. Иван Николаевич провел переговоры с ее учредителями и убедился в идейной и тактической близости прогрессистов и радикал-демократов. После этого, 25 апреля 1917 года, он вынес вопрос о слиянии прогрессистов с Радикально-демократической партией на обсуждение своей фракции. Было решено войти в партию на автономных началах, сохранив таким образом в целости фракцию в Государственной думе. Такое объединение состоялось в конце мая 1917 года на партийном съезде, и Ефремов стал председателем новой Радикально-демократической партии. Он занимал этот пост до сентября 1917 года.

Когда разразился очередной правительственный кризис, И. Н. Ефремов 2 июля 1917 года на заседании Временного комитета Государственной думы от имени Радикально-демократической партии, которую он возглавлял, выступил с резолюцией в поддержку сохранения коалиции и призывал всеми средствами предотвратить гражданскую войну. Он говорил, что «буржуазные партии не имеют права в такое тяжкое время умывать руки и устраняться от власти, как бы она тяжела не была». Хотя Радикально-демократическая партия и не имела большого общественного веса и влияния в стране (Н. Н. Суханов называл ее «фиктивной величиной»), А. Ф. Керенский все же повел с ней переговоры о формировании нового правительства. По словам Суханова, Керенский пригласил своего «близкого друга» Ефремова и предложил ему занять любой пост в его кабинете. Последний выбрал себе портфель министра юстиции, а заодно и «выторговал» пост министра государственного призрения для члена своей партии московского торгово-промышленного магната Барышникова.