Стоимость информации определяет верхний предел затрат на проведение измерений. Но, как правило, такие затраты оказываются намного ниже. Обычно я рассчитываю, что они приблизительно составят 10 % EVPI, хотя порой они не превышают и 2 % EVPI (это минимум, из которого вы должны исходить). Я ориентируюсь на эти показатели по трем причинам. Во-первых, EVPI — это стоимость полной информации. Но все эмпирические методы дают какую-то погрешность, а наша цель — снизить неопределенность, а вовсе не получить точные сведения. Поэтому стоимость результатов наших измерений будет, по всей видимости, намного меньше EVPI. Во-вторых, начальные измерения нередко меняют стоимость результатов дальнейших измерений. Если первые итоги оказываются неожиданными, то затраты на продолжение оценки могут упасть до нуля. Это означает одно: измерения следует проводить итеративно. А поскольку у нас всегда есть возможность продолжить измерения, если нужен более точный результат, то обычно в недооценке результатов начальных оценок присутствует управляемый риск. Наконец, не забывайте о том, что кривая стоимости информации обычно круче всего идет вверх в самом начале: первая сотня изученных образцов снижает неопределенность намного больше, чем вторая.
Способ измерения объекта подсказывает порог. Если возникает необходимость оценить возможный спрос, чтобы определить объем производства, или производительность труда (для расчета премиальных выплат), то фактически порога у вас не будет. Каждое повышение точности будет иметь свою стоимость, хотя с приближением к EVPI стоимость информации будет инкрементально расти все медленнее. Но предположим, что требуется рассчитать размер рынка, так как сделанные вашей компанией инвестиции окажутся безубыточными только в случае роста рынка не менее чем на 12 % по сравнению с прошлым годом. Выбирая метод измерения, вам следует учесть, что ошибка не выше 1 % не так важна, главное — узнать, на какой стороне порога вы окажетесь. Если вы можете с достоверностью установить, что рынок вырастет менее чем на 5 %, то какова погрешность этого показателя — 1 % или 5 % — вам неважно. В этом случае главное, чтобы прогноз не показал, что рост рынка составит больше (или меньше) 12 %, когда на самом деле правильно обратное.
Наконец, о том, какой метод измерения вам потребуется, говорит и исходная неопределенность. Помните: чем выше неопределенность, тем больше информации дадут первые наблюдения. Если сначала неопределенность была очень высока, то даже методы, имеющие большую неустранимую погрешность, дадут больше сведений, чем имелось раньше.
Учитывать погрешность
Все измерения дают погрешность. Чтобы решить эту проблему, ее, как и любую другую, необходимо, прежде всего, признать. После этого мы сможем выработать стратегию, позволяющую, по крайней мере, частично компенсировать ошибки. Однако те, кто быстро пасует перед трудностями измерения, нередко исходят из того, что наличие любой погрешности означает невозможность оценки. Будь это так, измерения были бы невозможны ни в одной области науки. Но, к счастью для научного сообщества и для всех остальных, это заблуждение. Энрико Ферми может покоиться с миром.
Ученые, статистики, экономисты и большинство других специалистов, занимающихся эмпирическими измерениями, делят ошибки на две большие категории — систематические и случайные. Систематические ошибки — это постоянные, а не случайные отклонения результатов одного наблюдения от итогов другого. Например, если прогнозы доходов следующего квартала, составляемые менеджерами по продажам, постоянно оказываются завышенными в среднем на 50 %, то это ошибка систематическая. То, что завышение не всегда составляет ровно 50 %, — ошибка случайная. Случайная ошибка одного наблюдения, по определению, не поддается предсказанию, но случайные ошибки ряда наблюдений подчиняются определенной закономерности и могут быть рассчитаны с помощью теории вероятности.
Термины «систематическая» и «случайная ошибки» связаны с такими понятиями, как достоверность и точность. Достоверность отражает воспроизводимость и повторяемость результатов измерений, в то время как точность показывает, насколько результат измерения близок к «истинному» значению. Большинство считает понятия «точность» и «достоверность» синонимичными, но специалисты по измерению их определенно различают.
Показания домашних весов, специально настроенных, чтобы занижать или завышать вес, могут быть достоверными, но неточными. Они достоверны, так как будут показывать один и тот же вес каждый раз, когда один и тот же человек будет вставать на них несколько раз в течение часа (за который его вес не успеет измениться). И все же они неточны, потому что всякий раз будут показывать вес, специально заниженный, например на 3 кг. Представим себе теперь, что идеально настроенные весы находятся в движущемся автофургоне. Ухабы, ускорение или спуски и подъемы заставят их давать каждый раз иные показания, даже если взвешиваться будет один и тот же человек (становясь на них по два раза в минуту). И все же окажется, что средний ответ очень близок к его реальному весу. Вот пример довольно хорошей точности, но низкой достоверности. Это характерно и для калиброванных экспертов: они могут быть непоследовательными в своих суждениях, постоянно что-то пере- или недооценивая.
КРАТКИЙ ГЛОССАРИЙ ПОГРЕШНОСТИ
Систематическая ошибка, или систематическое отклонение (смещение) — неотъемлемое свойство процесса измерения давать определенный результат; постоянное отклонение.
Случайная ошибка — ошибка, непредсказуемая для отдельного наблюдения, непостоянная и не зависящая от известных величин (хотя в своей массе такие ошибки подчиняются законам вероятности).
Точность — характеристика измерений, дающих низкую систематическую ошибку, то есть таких, когда искомое значение не занижается и не завышается на постоянной основе.
Достоверность — характеристика измерений, дающих низкую случайную ошибку, то есть таких, которые дают аналогичные результаты, пусть и далекие от истинного значения.
Иными словами, достоверность — это низкая случайная ошибка при любой систематической ошибке, а точность — это низкая систематическая ошибка при любой случайной ошибке. Каждый вид ошибки можно учесть и компенсировать. Зная, что весы всегда показывают на 3 кг больше, мы можем скорректировать их показания. Если весы настроены точно, но дают разноречивые показания, то мы можем устранить случайную ошибку, проведя несколько измерений и рассчитать средний результат. Любое снижение того или иного вида ошибки называется контролем точности.
Случайная выборка представляет собой тип контроля точности в случае правильного ее использования. Непредсказуемые по отдельности, взятые в целом, случайные эффекты подчиняются определенным, вполне прогнозируемым закономерностям. Например, я не знаю, как упадет одна подброшенная монета, но могу сказать, что при подбрасывании 1000 монет решка выпадет 500±26 раз (способ определения этой ошибки мы еще обсудим позже). Намного сложнее оценить, даже приблизительно, систематическую ошибку. Систематические ошибки (допускаемые необъективно настроенными экспертами, определяющими качество продукции, или приборами, постоянно дающими завышенные показания) не обязательно порождают случайные ошибки, не поддающиеся количественной оценке с помощью теории вероятности.
Будь у вас выбор, что бы вы предпочли: взвеситься на разрегулированных, но достоверных весах с неизвестной погрешностью или на настроенных, но находящихся на движущейся платформе и дающих всякий раз разные показания? Я обнаружил, что в бизнесе люди нередко предпочитают достоверность с неизвестной систематической ошибкой недостоверному значению со случайной ошибкой. Например, чтобы определить, сколько времени торговые представители тратят на встречи с клиентами по сравнению с выполнением других административных задач, менеджеры, скорее всего, проанализируют все ведомости учета рабочего времени. Идея провести случайную выборку торговых представителей и изучить структуру их временных затрат вряд ли придет им в голову. Но ведомости учета рабочего времени не дают точной картины, особенно если заполняются в пятницу в 5 часов вечера перед самым уходом с работы за всю неделю сразу. Люди недооценивают время, затраченное на выполнение одних задач, переоценивают продолжительность выполнения других и непоследовательны в классификации этих задач.
