Существует только один ограничивающий критерий, позволяющий с уверенностью сказать, являются ли методы анализа «затрат/выгод» или расчета взвешенных коэффициентов способами измерения: результатом должно стать повышение предыдущего уровня знания. Если использованный метод только увеличивает прежнюю ошибку, то это не измерение. Если его считают формализованным и систематизированным, но без научных доказательств уменьшения ошибки и принятия более удачных решений, это не измерение. На проведение псевдоизмерений организации нередко тратят больше времени и сил, чем потребовалось бы на применение способов, гарантированно снижающих неопределенность. Зачем же тогда, спрашивается, даже думать об использовании методов, которые фактически не уменьшают неопределенность?

Сравнение методов

В конечном счете, человеческое суждение — совсем не плохой инструмент измерения. Если вы регулярно принимаете большое число аналогичных решений, то модели Раша и линзы, несомненно, помогут вам снизить неопределенность, устранив отдельные типы ошибок, присущие экспертам. Даже простой z-показатель Доуза выглядит, похоже, как определенный шаг вперед по сравнению с мнением эксперта.

Расскажем для сравнения о еще одном подходе, как будто более эффективном, чем все перечисленные методы, — объективной оптимизированной линейной модели. В отличие от других обсуждавшихся в этой главе способов, он никак не зависит от человеческих суждений и поэтому обычно дает намного лучшие результаты. Обычно мы предпочитаем его, но во многих случаях, когда приходится количественно оценивать то, что «не поддается измерению», необходимые для этого подробные, объективные данные за прошлые периоды получить невозможно. Отсюда возникает потребность в таких методах, как модели линзы, Раша и т. д.

В главе 9 мы обсуждали способы проведения регрессионного анализа, нужные, чтобы выделить и оценить эффекты от многочисленных переменных. Имей мы больше данных за прошедшие периоды по некоей периодически возникающей проблеме, полную документацию по каждому фактору, выраженному в реальных единицах измерения (а не в баллах условной шкалы), и возможность зарегистрировать фактические результаты, можно было бы построить «объективную» линейную модель.

Если модель линзы выявляет корреляцию между исходными переменными и экспертными оценками, то объективная модель находит связь между этими переменными и фактическими результатами прошлых периодов. Во всех случаях применения модели линзы, перечисленных в рисунке 12.2, на основе прошлой информации была построена регрессионная модель. Например, врачам были предоставлены медицинские данные о больных раком, а затем на основе оценок их ожидаемой продолжительности жизни была построена модель линзы. Но помимо этого за пациентами продолжали наблюдать и определять их фактическую продолжительность жизни. И если погрешность результата, полученного с помощью модели линзы, оказалась всего на 2 % меньше человеческого суждения, то ошибка оценки на базе объективной модели была меньше уже на 12 %. Средняя погрешность оценок, полученных во всех случаях применения модели линзы (см. рис. 12.2), была на 5 % меньше ошибки мнений экспертов, а средняя ошибка объективной модели — на 30 %. Конечно, даже объективные линейные модели не являются панацеей от всех бед. Как мы говорили в предыдущих главах, обычно дальнейшее разложение задачи на составляющие позволяет снизить неопределенность еще больше. Если бы мы расположили все эти методы в определенном порядке, так, чтобы на одном конце спектра оказались простые экспертные оценки, а на другом — объективная линейная модель, то получили бы следующую картину (см. рис. 12.5).

Несмотря на свои недостатки, описанные ранее методы оценки всегда эффективнее простых экспертных мнений. Такие методы, как модели Раша и линзы, устраняют основные погрешности человеческих суждений и превращают эксперта в гибкий, калиброванный и очень мощный инструмент измерения. По мнению многих специалистов по психологии принятия решений, оспаривать эффективность этих методов все равно, что стегать мертвую лошадь. Лучше всего это сформулировал Пол Мил, профессор психологии Университета штата Миннесота:

Нет ничего странного в том, что в социологии постоянно появляется столько качественно разных исследований, которые ведут к одному заключению. Когда вы проводите 90 исследований [теперь их уже около 150]^[51] с целью предсказания всего, что угодно, начиная от результатов футбольных матчей до диагноза заболевания печени, и когда вы вряд ли можете назвать хотя бы полдюжины работ, доказывающих, что экспертные оценки лучше, то уже пора сделать практические выводы^[52].

Глава 13. Новые инструменты измерения для менеджмента

Интересно, что удалось бы измерить таким светлым головам, как Эратосфен, Энрико и Эмили, имей они в своем распоряжении обсуждавшиеся в данной книге методы. Не сомневаюсь, что много всего. Но, к сожалению, эти инструменты используются совсем не так часто, как могли бы, что, конечно, сказывается на качестве многих принимаемых важных и рискованных решений.

Говоря об инструментах измерения, я опять имею в виду не просто приборы, используемые для научных наблюдений. Я говорю о вещах, существование которых вам давно известно, но которые вы наверняка не считаете инструментами измерения. Сюда входят в том числе новые беспроводные устройства и даже Интернет.

Маркеры XXI века: в ногу с техническим прогрессом

Один из обсуждавшихся нами методов наблюдения — использование специальных средств слежения за тем, что ранее не определяли. Добавив что-либо в наблюдаемое явление, вы могли бы сделать его более легким для наблюдения. Чтобы получить представление о процессах, происходящих в верхних слоях атмосферы, мой отец, сотрудник Национальной службы погоды США, запускал при сильном ветре шары-зонды с радиопередатчиками и простейшими метеорологическими приборами. В нашем примере с измерением численности популяции рыбы в озеро была выпущена меченая рыба. Когда объект трудно наблюдать в его естественном виде, используют многочисленные приемы: установку на нем датчика, нанесение на него метки или использование маркера.

Массу возможностей создают не столько сами эти инструменты, сколько дешевизна их использования. Например, простая технология радиочастотной идентификации (radio frequency ID, RFID) революционизировала измерения в определенных видах бизнеса, но может применяться еще шире. RFID-метка — крохотное устройство, отражающее радиосигнал и посылающее в отраженном сигнале уникальный идентификационный код. Одна RFID-метка стоит сегодня всего 10–20 центов, а используются они главным образом для облегчения инвентаризации товарно-материальных запасов.

Когда я спросил известного физика и автора книг Фримена Дайсона о самом, по его мнению, важном и интересном достижении в области измерений, он без колебания ответил: «Самое яркое — GPS (Global Positioning System — глобальная система определения местоположения, или глобальная навигационная система). Она изменила абсолютно все». Вообще-то я ожидал другого ответа. Наверно, думал я, он вспомнит о том, как занимался анализом боевых операций ВВС Великобритании в период Второй мировой войны, но GPS — безусловно, хороший пример, поскольку система действительно является революционным инструментом измерения и сама по себе измерение. Экономически GPS доступна практически всем и предлагается в комплекте с различными программными средствами и услугами. Тем не менее, перечисляя новые используемые бизнесом средства измерения, многие и не вспоминают об этой системе, отчасти из-за ее повсеместного использования. Но если такой человек, как Дайсон, считает ее новым словом в измерении, то к его мнению стоит прислушаться.