1. Разложите интересующий вас объект на составляющие так, чтобы их можно было оценить по другим измерениям. Некоторые составляющие оценивать легко, а иногда само разложение уже достаточно снижает неопределенность.
2. Проведите вторичные исследования своих результатов. Узнайте, как подобные объекты измерялись до вас. Даже если итоги других исследователей далеки от ваших проблем, нельзя ли воспользоваться их методами?
3. Примените к одному или нескольким составляющим объекта измерения один или более методов наблюдения (выявление оставленного следа, прямое наблюдение, наблюдение с помощью «меток» или проведение эксперимента). Придумайте, по крайней мере, три способа их обнаружения и затем действуйте, как настоящий следователь. Если это не удается, попробуйте прямое наблюдение. Если и это оказалось безрезультатным, пометьте свой объект или внесите в него другие изменения, чтобы хотя бы потом он начал оставлять поддающиеся обнаружению следы. Если и этот случай оказался безуспешным, воспроизведите событие специально для того, чтобы за ним можно было понаблюдать (проведите эксперимент).
4. Постоянно помните о правиле «Не измеряйте точнее, чем нужно». Ну зачем вам высокая точность, если вы хотите, например, только удостовериться, что рост производства оправдает сделанные инвестиции? Не забывайте о стоимости информации: низкая стоимость означает, что и затраты на проведение измерений должны быть низкими; а высокая стоимость информации означает, что вы можете не экономить на расходах. Помните и о том, с какого уровня неопределенности вы начинали. Если сначала этот уровень был очень высок, то сколько наблюдений вам потребуется, чтобы снизить его?
5. Учитывайте ошибки, специфичные для данной задачи. Если несколько экспертов оценивают качество работы, помните о смещении ожидания и проведите испытания вслепую. Если нужно сделать выборку, проследите за тем, чтобы она действительно была случайной. Если сам факт проведения наблюдений может повлиять на результат, найдите способ скрыть эту информацию от наблюдаемых.
Но если вы и теперь не сумели выбрать себе инструмент измерения, воспользуйтесь следующими советами, приведенными в произвольном порядке. Некоторые из них вам уже известны, но все они вполне заслуживают повторения.
• Работайте с последствиями. Что вы увидите, если интересующий вас показатель сильно повысится? Что произойдет, если он заметно упадет? В примере из главы 2 юная Эмили рассудила: раз целители с помощью бесконтактного массажа действительно могут делать то, что утверждают, значит, они должны, по меньшей мере, обнаруживать ауру человека. Оценивая качество, мы можем исходить из того, что с его повышением сокращается число жалоб от потребителей. Решая, стоит ли устанавливать новое программное обеспечение для отдела сбыта, мы должны спросить себя: «Если эта информационная система так хороша, как говорят, и действительно позволяет продавать больше, то почему же объемы реализации в тех фирмах, которые ею пользуются, пошли вниз?»
• Представьте себе, как это сделали бы другие. Посмотрите на свою задачу глазами криминалиста, детектива, психолога-экс-периментатора, палеонтолога, библиотекаря, военного разведчика, журналиста. Преодолейте свою профессиональную «за-шоренность» и обратите внимание на другие, нестандартные для вашей отрасли методы измерения.
• Пусть ваши измерения будут итеративными. Не пытайтесь сразу и полностью устранить неопределенность в ходе одного гигантского исследования. Начните с нескольких наблюдений и пересчитайте стоимость информации. Возможно, вы измените прежний план проведения измерений.
• Используйте многосторонние подходы. Если какая-то составляющая объекта измерения не поддается наблюдению одним способом, воспользуйтесь другим. Возможностей у вас много. Хорошо, если сработал первый же метод измерения. Но в некоторых случаях мне приходилось измерять свой объект тремя разными способами, и лишь на третий раз я получал желаемое.
Уверены ли вы, что проверили пригодность всех имеющихся методов? Если не удается оценить одну из составляющих переменной, нельзя ли измерить другую?
• Каков на самом деле тот простой вопрос, ответ на который может сделать дальнейшие измерения неактуальными? Эмили не пыталась оценить, какой эффект дает метод бесконтактного массажа и есть ли этот эффект вообще. В обсуждавшемся ранее примере с компанией Mitre я предложил ее специалистам сначала выяснить, смогут ли ее клиенты заметить хоть какое-то изменение качества исследований, и только потом рассчитывать стоимость ожидаемого повышения качества. Существуют такие базовые вопросы, ответы на которые могут избавить вас от необходимости проведения более сложных измерений. Какой вопрос вы должны себе задать, чтобы понять, необходимы ли дальнейшие усилия?
• Просто сделайте это. Не позволяйте своей озабоченности по поводу возможных неудач помешать вам приступить к каким-либо упорядоченным наблюдениям. Ведь уже первые результаты могут вас удивить и значительно снизить неопределенность, характерную для измеряемого объекта.
К настоящему моменту вы уже должны понять, что следует наблюдать и (в общих чертах) как это сделать. Теперь можно приступить к обсуждению двух категорий методов наблюдения: способов, результаты которых анализируются методами «традиционной» статистики, и метода байесовского анализа. Эти две категории охватывают практически все эмпирические методы измерения, применяемые в физике, медицине, экологии и экономике. Хотя традиционный подход распространен гораздо шире, более новый байесовский анализ обладает рядом очевидных преимуществ.
Глава 9. Выборочная реальность: как наблюдение за частью рассказывает нам о целом
Если вы хотите знать наверняка, каков процент брака в партии кирпичей, вам придется проверить каждый. А поскольку при испытаниях кирпичи подвергнутся нагрузке вплоть до разрушения, после нее не останется ни одного целого. Стремясь сохранить партию кирпичей для продажи или иного использования, мы должны проверить лишь несколько изделий — это даст информацию о всех.
Группа, сведения о которой необходимо получить (в данном случае это партия кирпичей), называется генеральной совокупностью. Изучение всех элементов группы (то есть проверка каждого произведенного кирпича) называется полным обследованием. Очевидно, что проведение полного обследования партии нецелесообразно, так как по его завершении не останется ни одного неповрежденного кирпича. Вместе с тем в других условиях полное обследование весьма обоснованно. Ежемесячная инвентаризация — это обычно именно тот случай, балансовый отчет — тоже результат полного обследования всех активов и обязательств. Бюро переписей населения США (U. S. Census Bureau) старается пересчитать всех проживающих в стране людей, хотя на практике это не вполне удается.
Но многие вещи скорее напоминают кирпичи, чем бухгалтерские операции. Существуют причины, по которым проверять, измерять, взвешивать или даже подсчитывать все элементы генеральной совокупности бывает нецелесообразно. Но мы все же можем снизить неопределенность, изучив несколько элементов этой совокупности. Любое обследование, не являющееся полным, называется выборочным. В сущности, выборка — это несколько объектов из генеральной совокупности, которые подвергаются наблюдению с целью получить информацию обо всех ее элементах.
Кого-то может удивить, что, исследуя одни объекты, мы получаем информацию о других, даже не рассматриваемых в данный момент, но ведь этим, в сущности, и занимается наука. Проводя эксперименты, мы изучаем отдельные эффекты Вселенной, изобилующей самыми разнообразными явлениями. Однако, открывая «закон», наука говорит, что он относится ко всем элементам исследуемой совокупности, а не только к тем, за которыми велось наблюдение.
Так, скорость света была определена путем выборочного обследования. И какой бы метод при этом ни применялся, он давал погрешность. Поэтому ученые измеряли скорость света неоднократно, и каждое измерение — новая выборка. Тем не менее скорость света — абсолютная константа, характеризующая и свет, отражающийся от этой страницы и попадающий вам в глаза, и свет, изучавшийся в лабораторных условиях. Полное обследование тоже может считаться выборочным, если со временем генеральная совокупность расширилась. Ведь данные полной инвентаризации, как и балансовый отчет, — всего лишь моментальная фотография.
