Поэтому даже если анализ всех пяти тысяч ведомостей учета рабочего времени (по 50 недельных ведомостей на каждого из 100 торговых представителей) и скажет нам, что они тратят на непосредственное общение с клиентами 34 % своего времени, мы не будем знать, правда ли это. И все же эта «точная» цифра, похоже, кажется многим менеджерам вполне убедительной. Предположим теперь, что прямое наблюдение за случайно выбранными торговыми представителями в случайно выбранные моменты времени показало, что они находились на встречах с клиентами или разговаривали с ними по телефону только в 13 из 100 случаев (в этом можно убедиться, и не отвлекая торговых представителей от их занятия, а опросив их, когда они освободятся). Как показано в главе 9, для последнего измерения мы можем статистическими методами рассчитать, что 90-процентный доверительный интервал этого показателя составляет 7,5–18,5 %. Хотя метод случайной выборки и даст нам только интервал, его результат будет представлять больший интерес, чем результат анализа ведомостей учета рабочего времени. Последний способ предоставляет точное число, но мы не имеем возможности узнать, как велика погрешность и в какую сторону полученное значение отклоняется от истинного.
МАЛЫЕ СЛУЧАЙНЫЕ ВЫБОРКИ ИЛИ КРУПНЫЕ НЕСЛУЧАЙНЫЕ: ИССЛЕДОВАНИЯ ЧЕЛОВЕЧЕСКОЙ СЕКСУАЛЬНОСТИ, ПРОВЕДЕННЫЕ КИНСИ
В 1940-х и 1950-х годах исследования Альфреда Кинси о сексуальном поведении человека дали толчок оживленным дискуссиям о сравнительных достоинствах малых случайных выборок и крупных неслучайных. Книги Кинси вызвали и большой интерес, и много споров. Получив грант от фонда Рокфеллера, Кинси сумел опросить 18 тыс. мужчин и женщин. Но его выборки были не совсем случайными. Он стремился встретиться с рекомендованными ему людьми и побеседовать с каждым представителем какой-либо группы (команды по боулингу, студенческих сообществ, книжного клуба и т. д.). По-видимому, он исходил из того, что при достаточно большой выборке погрешность компенсируется. Но в случае большинства систематических ошибок это не срабатывает — они не исключаются методом усреднения. Знаменитый статистик Джон Тьюки, которому тот же фонд Рокфеллера не позволил проверить работу Кинси, якобы сказал, что случайный выбор трех человек дал бы лучшие результаты, чем выбранная мистером Кинси группа из 300 человек. По другой версии, он сказал, что предпочитает случайную выборку из 400 респондентов отобранным Кинси 18 тыс. человек. Возможно, первое высказывание Тьюки и преувеличение, но небольшое. Он имел в виду, что выбиравшиеся Кинси группы были нередко очень близки к однородным. Поэтому, с точки зрения статистики, их можно приравнять к одному случайно выбранному человеку. Во второй версии своего высказывания Тьюки был абсолютно прав: ошибка при случайном выборе 400 человек вполне поддается количественной оценке и может быть намного меньше систематической ошибки при неправильном выборе 18 тыс. человек.
Почему люди предпочитают ложное впечатление точности ошибке случайной выборки, поддающейся количественной оценке? Как я обнаружил, нередко это происходит потому, что они путают ошибку одной выборки с ошибкой всего исследования. Да, в нашем примере с торговыми представителями в какие-то моменты вы могли обнаружить, что кто-то занят нетипичной, нерепрезентативной деятельностью, вовсе не характерной для всей группы, например готовится к командировке, хотя обычно почти никуда не ездит. Если бы мы выбрали именно этого человека и опросили его всего один раз, то вряд ли узнали бы что-то полезное о том, на что он тратит свое рабочее время. Но если 25 из 100 торговых представителей, опрошенных неоднократно, действительно готовятся к командировке, то можно не сомневаться, что весь торговый персонал тратит на это, в среднем, 25 % своего времени, и простейшие расчеты из главы 9 показывают, что 90-процентный доверительный интервал для этого показателя составляет 18–32 %. Из ненадежности результата одной выборки люди делают вывод, что в случае нескольких случайных выборок их ошибки не устраняются путем компенсации, а суммируются.
Ошибку, не исключаемую путем усреднения (систематическую ошибку), называют также отклонением, или смещением. Исследования в области психологии принятия решений и эмпирических наук в целом расширяют перечень возможных типов отклонения чуть ли не каждый год. Но есть три основных типа, которые можно ожидать при проведении измерений: отклонение ожидания, отклонение выбора и отклонение наблюдателя.
ВИДЫ ОТКЛОНЕНИЙ ПРИ НАБЛЮДЕНИЯХ
Смещение ожидания — принятие желаемого за действительное. Наблюдатели и испытуемые порой намеренно или ненамеренно видят именно то, что хотят. Люди доверчивы и склонны к самообману. Когда проводятся клинические испытания лекарств, пациенты не знают, кто принимает лекарство, а кто — плацебо. Это упомянутое выше испытание вслепую. Если принимающие лекарство не известны ни пациентам, ни врачам, то это двойное испытание вслепую. Еще один пример испытания вслепую — подход, предложенный мною Mitre Corporation (см. главу 3).
Смещение выбора. Выборка, планировавшаяся как случайная, может оказаться неслучайной. Если мы отберем 500 участников голосования, 55 % из которых скажут, что проголосуют за кандидата А, то возникает большая, а точнее, 98,8-процентная вероятность того, что этот кандидат действительно пользуется наибольшей поддержкой населения. Есть только 1,2-процентная вероятность того, что мы случайно отобрали слишком много людей, поддерживающих А, который на самом деле далеко не любимец народа. Но подразумевается, что выборка была случайной и мы не стремились к отбору сторонников одного кандидата. А если отбор осуществляется, например, путем опроса прохожих в деловом районе города, на определенной улице, где расположено много финансовых учреждений, то, скорее всего, все опрошенные избиратели окажутся определенного типа, даже если вы выбирали их наугад.
Ошибка наблюдателя (или искажение Гейзенберга и Хоторна). Субатомные частицы и люди имеют нечто общее: наблюдение заставляет их менять свое поведение. В 1927 г. физик Вернер Гейзенберг вывел формулу, которая показала, что нашим знаниям о положении и скорости движения частицы есть предел. Наблюдая за частицами, мы на них воздействуем (например, направляем пучок света), что заставляет их менять свою траекторию. В том же году началась реализация научно-исследовательского проекта на заводе Western Electric Company в Хоторне (штат Иллинойс). Первоначально им руководил профессор Элтон Мэйо из Гарвардской школы бизнеса, преследуя цель определить влияние условий на производительность труда рабочих. Исследователи меняли уровень освещенности, влажность, график работы и т. д., чтобы определить, при каких условиях рабочие будут работать лучше всего. К своему удивлению, они обнаружили, что производительность труда растет независимо от изменения условий труда. Рабочие работали лучше просто потому, что знали, что за ними наблюдают; или, возможно, предположили исследователи, положительную реакцию вызвало то, что руководство обратило на них внимание. В любом случае, мы не можем больше считать, что наши исследования показывают нам «реальный» мир, если не постараемся компенсировать эффект, оказываемый наблюдениями на изучаемый объект. Простейший выход из положения — проводить наблюдения в тайне от испытуемых.
Выберите или разработайте нужный инструмент
После разложения объекта измерения на составляющие, установления порядка наблюдения за этими составляющими, выбора уровня снижения неопределенности (лишь настолько, насколько это необходимо) и учета основных типов ошибок можно считать, что нужный инструмент оценки практически у вас в руках. Одни только ответы на приведенные ранее вопросы должны были сделать для вас метод измерения более очевидным.
Итак, чтобы выбрать нужный инструмент измерения, необходимы следующие этапы.
