В любом случае, Ферма явно не догадывался о ее последующем применении. Для него теорема была инструментом для теста простоты некоторых чисел, таких как 2ⁿ - 1. Она была одним из его сокращенных путей, используемых с целью избежать решета Эратосфена. Например, благодаря своей малой теореме Ферма смог подступиться к числам вида аⁿ - 1 при а > 2, которые никогда не являются простыми, сведя кандидатов в их простые делители к меньшему множеству. Как легко увидеть, эти числа — обобщение чисел Мерсенна. Кроме того, малая теорема позволила Ферма таким же образом подойти к числам аⁿ + 1, которые, как он утверждал, являются простыми, если a четное, а n имеет вид 2^m. Именно в ходе этого исследования математик открыл так называемые простые числа Ферма, которые соответствуют этим двум условиям и еще одному — тому, что число m вида 2^2p +1 простое, если р простое.

Но в данном случае интуиция подвела Ферма. Эйлер нашел контрпример при p - 5. Итоговое число делится на 641. Ферма осознавал, что не может доказать этот результат, и говорил о своем разочаровании в течение многих лет; в 1659 году он изложил доказательство своему другу Каркави, но с учетом контрпримера Эйлера, оно, даже если и существовало, явно было ошибочным. В любом случае ясно, что малая теорема позволяла Ферма исключить из своих вычислений любое множество простых чисел — кандидатов в делители чисел некоего вида, что облегчало тесты простоты указанных чисел. Однако, к своему большому разочарованию, он никогда не добился того, к чему стремился, — вывести теорему, позволяющую избавиться от всех простых чисел, которые можно исключить для указанных типов чисел.

Сегодня не существует по-настоящему эффективного и надежного метода нахождения простых чисел произвольного размера; нет формулы вроде той, что нашел Евклид для четных совершенных чисел. В большинстве методов нахождения простых чисел требуется знать все простые числа до некоего предварительного числа либо знать, являются ли числа, соседние с кандидатом на простое число, разложимыми на множители. Следовательно, тесты простоты крайне важны: сначала ищут кандидата на простое число, а потом проверяют, является ли оно таковым.

Казалось, что к концу 1640 года Ферма потерял интерес к суммам собственных делителей. Его следующие исследования по теории чисел напрямую связаны с Великой теоремой.

Рациональные прямоугольные треугольники — это называемые пифагоровыми тройки рациональных чисел х,у и z, которые выполняют теорему Пифагора: х² + у² = z².

Такие тройки очень древние и встречаются уже в Вавилоне и Египте. Но Евклид доказал, что — при заданных двух рациональных числах p и q - r = р² + q², x = р² - q² и y = 2pq - это пифагорова тройка. Из чего непосредственно следует, что количество пифагоровых троек бесконечно, поскольку количество рациональных чисел бесконечно.

Диофант посвятил Книгу VI своей "Арифметики" решению задач, связанных с данным типом треугольников, как он это обычно и делал: рассматривая их в виде отдельных случаев. Его метод решения предполагал составление уравнения или системы уравнений. Проблема была в том, что иногда в результате получалось рациональное отрицательное число, и это не имело смысла, поскольку ни у одного треугольника нет сторон отрицательной длины. В других случаях метод ученого не работал, поскольку некоторые условия, необходимые для успеха, не выполнялись: например, в итоговых уравнениях коэффициент х² или константа должны были быть квадратом. Диофант выбирал свои задачи осторожно, чтобы они соответствовали таким условиям и решение всегда было положительным; "хитрость" заключалась в том, чтобы ставить только задачи, решаемые с помощью предложенного метода.

В 1621 году во Франции Клод Гаспар Баше де Мезириак издал работу Диофанта. Именно благодаря этому изданию Ферма познакомился с Диофантом, и на его полях он сделал свою знаменитую запись Великой теоремы.

Ферма заинтересовался прямоугольными треугольниками, внеся важные коррективы: во-первых, он ограничился изучением треугольников, стороны которых были выражены только натуральными числами. Во-вторых, вместо того чтобы решать частные случаи с особыми числами, Ферма взял метод решения Диофанта и сформулировал его в общем виде. В то время как Диофант был ограничен языком словесной алгебры, Ферма, следуя Виету, уже пользовался символической алгеброй, которая позволяла ему большую возможность абстрагирования. При таких обстоятельствах Френикль написал Ферма в 1641 году и предложил ему задачу: найти треугольник, в котором выполнялось бы следующее уравнение: (x - y)² = y + z². Задачи Диофанта неизменно приводят к уравнениям такого типа.

Ферма не без усилий решил задачу, но через два года у него уже был метод. Он предложил Пьеру Брюлару де Сен-Мартену три подобные задачи, чтобы пробудить его интерес к теории чисел. Брюлар и сам Френикль отреагировали с возмущением. По их мнению, его задачи не имели решения. Они подумали, что Ферма пытается высмеять их. Но тулузец уверил (через Мерсенна), что решение существует, не открывая его. Однако под давлением Мерсенна через некоторое время он предал гласности эти результаты.

Вы спрашиваете меня, является ли число 100 895 598 169 простым или [...] составным. На этот вопрос отвечаю Вам, что это число составное и получается из произведения 898 423 и 112 303, которые являются простыми.

Ферма Мерсенну в связи с малой теоремой

Предполагаемая невозможность основывалась на том, что метод Диофанта давал отрицательный результат; но Ферма разрубил этот гордиев узел. Действительно, когда получался отрицательный корень, он переписывал уравнение, используя данный корень и измененную переменную, и решал методом Диофанта итоговое уравнение. Если снова получался отрицательный корень, он вновь переписывал уравнение, повторяя это действие, пока, наконец, не получал положительный корень. Ферма исследовал неопределенность уравнения для изобретения искусного метода решения.

Пользуясь таким обобщенным подходом, основанным на теории уравнений, Ферма решительно порвал с диофантовым подходом, рассматривавшим частные решения, сделав прорыв, которого его современникам не удалось понять. Ферма перестал зависеть и от квадратных чисел, когда решил задачу; однако его отношения с Френиклем и Брюларом были серьезно испорчены.

В другом письме 1640 года Френиклю Ферма объявил, что нашел общие правила разложения числа на сумму двух квадратов. Это происходило из комментария Баше к одной задаче Диофанта, связанной с разложением числа N на сумму двух квадратов четырьмя разными вариантами.

Разложение числа на слагаемые — проблема, схожая с разложением на множители. Если в последнем случае ищут делители, то здесь — слагаемые. Очевидно, что слагаемые должны быть определенного типа, поскольку нахождение любых слагаемых тривиально. Именно эту проблему Ферма и решил.

Решением является формула, которую мы не будем здесь приводить. Достаточно отметить: значимость результата состоит в том, что Ферма снова удалось найти общий метод, и для этого он воспользовался любопытным свойством простых чисел, которое намного более важно, чем проблема сама по себе. Действительно, Ферма знал, что простые числа вида 4k - 1 не могут быть выражены в виде суммы двух квадратов. Также, хотя доказательство стоило ему большого усилия и было осуществлено с помощью его метода бесконечного спуска, он доказал, что простые числа вида 4k + 1 всегда можно разложить на сумму двух квадратов, и эта сумма единственная. Ферма удалось разбить нечетные простые числа на две различные группы в зависимости от того, выполняют они некое требование или нет. Он использовал эти два результата для доказательства того, что проблема Баше может быть сведена к определению, при заданном числе Ν, сколько его простых делителей имеют вид 4k - 1, а сколько — вид 4k + 1. Действительно, за исключением числа 2 все простые числа могут быть записаны в первом или втором виде, поскольку они оба включают все нечетные числа. Следовательно, только простые делители вида 4k + 1 могут образовывать два слагаемых, а количество вариантов, по которым можно разложить N, — это всего лишь проблема комбинаторики.