Надежды на "примирение" с католиками стали рассеиваться после Регенсбургского сейма 1541г. и особенно после начала работы Тридентского собора (1545-1563). Именно этот собор и осудил окончательно основные идеи протестантизма. Протестантские церкви должны были теперь оправдывать свое автономное существование наряду с институтом, который основывался на многовековой традиции.
По этой причине особый всплеск интереса к проблеме церкви в протестантизме приходится именно на 40-е годы 16в. И именно в сочинениях Ж. Кальвина эта проблема получила на тот период всестороннее рассмотрение. Неудивительно, что в этом вопросе Кальвин не только отталкивается от некоторых положений своего предшественника М. Лютера, но и вступает с ним в полемику.
Лютер делает акцент на Слове Божьем. Средневековая церковь была испорчена, а ее доктрина искажена либо отходом от этого Слова, либо добавлениями к нему, сделанными людьми. Однако везде, где Слово добивается истинного подчинения Богу, возникает Церковь: "Надежным признаком, по которому можно узнать христианскую конгрегацию, является то, что там проповедуют чистое Евангелие. Точно так, как знамя является знаком того, какой военачальник и какая армия находятся перед вами, так и Евангелие является знаком, по которому можно определить, где находится лагерь Христа и Его воинство... Соответственно, где Евангелие отсутствует, а правят лишь человеческие учения, там нет христиан, а лишь одни язычники, независимо от их числа и того, какую бы праведную жизнь они не вели" (55,с.233). Поэтому для существования церкви обязательно не рукоположенное епископами духовенство, а проповедь Евангелия: "Где есть Слово, там есть вера, а где есть вера, там есть истинная Церковь". Ни одно человеческое собрание не может претендовать на звание Церкви Божией, если оно не основано на Евангелии. Такое понимание церкви является, так сказать, функциональным, а не историческим, ибо право на существование церкви определяется не исторической, а богословской преемственностью с апостольской церковью. Важнее проповедовать то же Евангелие, что и апостолы, чем быть членом института, который исторически к ним восходит. Аналогичное понимание церкви можно найти и у Филиппа Меланхтона.
Но здесь встает неожиданный и довольно коварный вопрос: чем отличаются взгляды Лютера от взглядов разного рода радикалов? Так, Себастьян Франк писал: "Я верю, что видимая Церковь Христа, включая все ее дары и таинства, в связи с осквернением антихристом сразу после смерти апостолов была взята на небеса, где она сокрыта в Духе и истине. Поэтому я вполне уверен, что в течение последних 1400 лет не существует ни соборной Церкви, ни каких-либо таинств" (55,с.234). Истинная Церковь находилась на небесах, а на земле существовало лишь ее подобие, во многом неадекватное небесному. Здесь можно увидеть в определенной степени возрождение взглядов на церковь Доната и его сподвижников (5в.). Для них церковь состоит лишь из праведников, а церковь и мир противостоят друг другу, как свет и тьма. Если принять точку зрения М. Лютера, что церковь не была установленной, но определялась проповедью Евангелия, то как отделить его точку зрения от приведенного мнения С. Франка?! Он сам допускал, что "Церковь свята даже там, где доминировали фанатики (т. е. радикалы), если они не отвергают Слово и таинства". Исходя лишь из реалий своего времени, Лютер вернулся от идеи "невидимой церкви" к идее "видимой церкви". Именно борьба с разрушительными радикальными толкованиями привела Лютера даже к принятию отчасти католического понимания церкви: "Со своей стороны, мы исповедуем, что в папстве есть много доброго и христианского; действительно, все, что есть христианского и доброго, находится там и пришло к нам из этого источника. Например, мы исповедуем, что в папской Церкви есть истинное Священное Писание, истинное Крещение, истинное таинство алтаря, истинные ключи к прощению грехов, истинное духовенство, истинный катехизис в форме Молитвы Господней, Десяти Заповедей и статей Символа Веры" (55, с.234).
Лютер столкнулся примерно с теми же проблемами, которые стояли и перед Августином и потому так или иначе воспроизводит взгляд Августина на смешанный состав Церкви. Для него, как и для Августина, испорченные церковники - "как мышиный помет среди перечных зерен или плевелы среди пшеницы". Это не удивительно, ведь два Града - Земной и Небесный - в реальной жизни переплетены. Подобный подход позволял сохранить церковь как институт, в то время, как радикальная реформация вела к формированию сект. Единственное, но существенное, в чем Лютер "отходит" от Августина - это отождествление "испорченности" церкви с ее "ложностью", чего Августин никогда не утверждал.
Жан Кальвин вынужден был заняться рассмотрением проблемой церкви гораздо более основательно, чем предшествующие реформаторы. Противостояние католиков и протестантов вступило в решающую стадию, выступления радикалов стали особенно яростными. Рассматривает этот вопрос Кальвин уже в первом издании "Наставлений" (1536), но практического церковного опыта он в тот момент еще не имел, поэтому рассуждения его носят скорее теоретический характер и достаточно расплывчаты. Ко времени второго издания своего сочинения (1539) таковой опыт уже отчасти появился. По этой причине во втором издании находилось уже достаточно крупное систематическое изложение проблемы.
Здесь содержится "минимальное" определение истинной церкви: обязательными признаками ее являются проповедь Слова Божьего и правильное совершение обрядов таинств. Поскольку римско-католическая церковь не соответствовала даже этому минимальному определению, протестанты были совершенно правы, оставляя ее. Но это же означает, что евангелические церкви данному определению соответствуют, а, значит, нет оправдания их дальнейшему делению и дальнейшее дробление евангелических конгрегаций гибельно для дела Реформации.
Дальнейшее развитие кальвинистского учения о Церкви, строго говоря, связано не только с самим Кальвином. Большое влияние на раннем этапе на его взгляды оказал Мартин Буцер (1491-1551). Центром его деятельности был город Страсбург в Юго-Западной Германии, он занимал ведущее место в группе верхненемецких реформаторов. Разделяя в целом взгляды М. Лютера, он и его сподвижники, в то же время, более последовательно отрицали католицизм в богословии и богослужении. Буцер имел серьезную репутацию церковного администратора и его советы оказались полезны для женевского реформатора. Буцеру Кальвин обязан представлением о необходимости четвертичной структуры духовенства (пастор, доктор или учитель, старейшина, диакон) и теорией о различии между видимой и невидимой церковью. Некоторые положения Буцера, однако, не нашли отголоска в учении Кальвина. Так, например, он не согласился с тем, что церковная дисциплина является существенной характеристикой ("знаком") новой церкви. Хотя Кальвин включил "пример жизни" в число "определенных отметок" церкви в издании "Наставлений" 1536г., более поздние издания содержали акцент на правильной проповеди Слова Божьего и совершении таинств. Дисциплина может укрепить нерв церкви, но ее сердце и душа определяются спасительной доктриной Христа.
Кальвин утверждал, что есть конкретные библейские указания относительно правильного порядка служения, поэтому конкретная форма церковного порядка стала особым пунктом его доктрины. Он начинает разрабатывать конкретную форму церковного управления и для этой цели заимствует из сферы светского государства слово "administratio". В результате минимальное определение церкви начинает расширяться. Для того, чтобы правильно проповедовалось Евангелие и правильно совершались обряды таинств, необходим, по словам Кальвина, "порядок, которым Христос желал, чтобы Его Церковь управлялась". Кальвин разрабатывает подробную теорию церковного управления, базирующуюся на экзегезе Нового Завета и во многом основанной на терминологии римской императорской администрации. В противоположность тому, что говорили и писали радикалы, Кальвин настаивает на том, что конкретная форма церковной структуры и управления изложена в Писании. Так, Кальвин утверждал, что пастырское управление Церковью является Божественно освященным, как и разграничение понятий "пастырь", "старейшина", "диакон" и "народ".