Обдумывание ошибок

Для ученого теория – это нечто, требующее проверки. Он стремится не к защите своих убеждений, а к их усовершенствованию. Кроме всего прочего, он еще и специалист по «изменению своих мнений».

Уэнделл Джонсон

Когда мы пытаемся понять взаимосвязи путем выдвижения и проверки гипотез, мы иногда ошибаемся. Эта мысль обсуждается подробнее в главе 7, которая касается понятия вероятности. Пока давайте рассмотрим такую ситуацию: предположим, что вы каждый день ездите на работу с приятелем. Каждое утро вы останавливаетесь у окна кафе для автомобилистов и покупаете кофе. Вы решили, что, вместо того чтобы каждое утро спорить, кто будет платить («Я заплачу» – «Нет, нет позволь мне»), друг будет бросать монету. Если выпадет орел, заплатит он; если выпадет решка – заплатите вы. Звучит довольно странно, но за последние 10 дней монета 9 раз выпала решкой вверх. Как вы думаете, не жульничает ли ваш приятель?

Истина заключается в том, что он либо жульничает, либо нет. К сожалению, вы не знаете, какой из двух вариантов ответа – правда. Тем не менее вам надо принять решение. Вы либо решите, что ваш приятель жульничает, либо решите, что он не жульничает. Таким образом, существуют четыре возможности: а) он жульничает, и вы правильно решите, что он жульничает; б) он не жульничает, и вы правильно решите, что он не жульничает; в) он жульничает, и вы неправильно решите, что он не жульничает; г) он не жульничает, и вы неправильно решите, что он жульничает. Из этих четырех возможностей в двух случаях вы можете оказаться правы и в двух случаях вы можете ошибиться. Эти четыре комбинации представлены в табл. 6.1. Как видно из табл. 6.1, в любой ситуации при проверке гипотезы мы можем совершать ошибки двух типов. Эти два типа не являются одинаково «плохими». Гораздо хуже решить, что ваш друг жульничает, если на самом деле он этого не делает (особенно если вы обвините его в мошенничестве), чем решить, что он не жульничает, когда он именно этим и занимается. По этой причине вам необходимы более веские свидетельства для подтверждения факта его жульничества, чем для подтверждения его честности. Другими словами, при проверке гипотезы вам необходимо учитывать степень «вредности» различных ошибок.

Если вы будете изучать статистику или экспериментальное проектирование, то обнаружите, что эти науки справляются с проблемой различной «вредности» ошибок, требуя для различных решений различные уровни уверенности. Необходимость рассмотрения ошибок различных типов возникает во многих контекстах. Согласно основному принципу нашего законодательства, для того чтобы можно было обвинить человека в совершении преступления, необходима сильная уверенность в этом (отсутствие обоснованных сомнений). И наоборот, нам не нужно отсутствия обоснованных сомнений в невиновности подозреваемого, поскольку ошибочное решение о невиновности считается менее серьезной ошибкой, чем ошибочное решение о виновности. Точно также при неформальной проверке гипотез вам необходимо помнить о степени серьезности ошибок различных типов. Перед тем как решить, например, что, сколько ни старайся, вы все равно не осилите какой-либо предмет или что лекарство, которое вы принимаете, вам помогает или не помогает, необходимо рассмотреть последствия правильного и неправильного решений. Для некоторых решений необходима большая степень уверенности в своей правоте, чем для других.

Таблица 6.1. Четыре возможных исхода в примере «Кто покупает кофе»

Примечание. Ошибочное решение, что он жульничает, гораздо более серьезная ошибка, чем ошибочное решение, что он не жульничает. В связи с этой неравноценностью степени серьезности ошибок вам нужно иметь большую уверенность, когда вы решаете, что он жульничает, чем когда вы решаете, что он не жульничает.

Предположим, что ваша подруга поделилась с вами своим «секретом» похудения – она натирает живот и другие «проблемные зоны» чесноком, и жир как будто' тает. Вы сомневаетесь, но она настаивает: «Я знаю, что это действует. Я пробовала и собственными глазами видела результаты». Я уверена, что многие люди прореагируют на такие рекомендации, натерев чесноком участки своего тела, на которых имеется лишний жир. Точно так же многие с энтузиазмом глотают пилюли из молотого пениса носорога, чтобы повысить свою сексуальную потенцию, поливитамины, чтобы меньше утомляться, и корень женьшеня от всех остальных болезней. Вы можете даже пополнить ряды тех, кто расхваливает подобные средства, потому что иногда можно похудеть, натеревшись чесноком – иногда желательный эффект наступает после некоторых действий (таких как прием капсул с молотым пенисом носорога). Но был ли этот эффект вызван данными действиями? На такой вопрос можно ответить, только пользуясь принципами проверки гипотез. Личный опыт не дает ответа.

Доус (Dawes, 1994) внес поправки в знаменитое выражение, которое приписывают Бенджамину Франклину. Оказывается, Франклин не говорил «опыт – лучший учитель»; вместо этого он сказал «опыт – дорогой учитель», подразумевая под словом «дорогой» «дорогостоящий, «дорого обходящийся». Иногда нам удается постоянно пользоваться обратной связью, получая сведения о том, что действует, а что не действует, так что мы можем применять свой опыт в решении какой-либо задачи. Но можно многократно делать одно и то же, ничему не научившись на опыте. Гораздо лучше использовать для определения причинных связей информацию, получаемую многими людьми, чем полагаться на личный опыт вместе с его дорого обходящейся необъективностью.

Самопрограммирование

Наука – это не простой сбор фактов; это дисциплина мышления при поисках разумных решений проблем после установления основных фактов, полученных путем наблюдений. Это выдвижение гипотез о возможном на основе известного, а затем попытки проверить эти гипотезы.

Розалин Ялоу (Yalow, 1988)

Известный психолог Роберт Розенталь и его коллега (Rosenthal Fode, 1963) в стандартном курсе экспериментальной психологии предлагали своим студентам обучать крыс проходить через лабиринты. Половине студентов сообщали, что у них крысы специально выведенного вида, с прекрасными способностями к нахождению пути в лабиринтах, а второй половине студентов говорили, что у них крысы специально выведенного вида, неспособные справиться с этой задачей. Как вы, вероятно, уже ожидаете, за короткое время студенты, обучавшие «способных» крыс, достигли гораздо лучших результатов, чем студенты, обучавшие «тупых» крыс. Этот результат особенно интересен тем, что на самом деле между двумя группами крыс не было никаких различий. Розенталь и Фоуд солгали студентам, что крыс выводили специально. Это были обычные лабораторные крысы. Их случайным образом разделили на две группы. Если между крысами в группах не было реальных различий, то как мы объясним тот факт, что студенты, которые верили, что у них «способные» крысы, научили их проходить через лабиринт быстрее, чем студенты из второй группы?

Термин самопрограммирование был введен для обозначения тенденции действовать так, чтобы прийти к ожидаемой цели. Я не знаю, что делали студенты, чтобы быстрее научить крыс из «способной группы» или медленнее – крыс из «тупой» группы. Может быть, способных крыс чаще брали в руки или клали больше пищи на выходе из лабиринта. (Обучая крыс бегать через лабиринт, им дают пищевое вознаграждение, когда они достигают цели, чтобы поддерживать мотивацию.) Может быть, студенты, обучавшие «тупых» крыс, грубо бросали их в лабиринт или не так точно вели записи. Но что бы они ни делали, они каким-то образом так повлияли на результаты эксперимента, что результаты стали соответствовать их ожиданиям.