Тренинг, о котором идет речь, был не из дешевых, поэтому сначала руководство решило послать на обучение 30 случайным образом выбранных сотрудников службы поддержки потребителей в качестве группы испытуемых. Тем не менее затраты на обучение этой группы оказались существенно меньше рассчитанной стоимости информации. В контрольную группу вошли все остальные сотрудники службы. После того, как тест-группа прошла программу тренинга, менеджеры продолжили опрос покупателей, осуществив выборочное обследование по принципу, описанному выше. Были рассчитаны среднее значение и дисперсия исходных данных по группе испытуемых и контрольной группе (как это показано в примере с леденцами в начале главы). Результаты расчетов представлены в таблице 9.4.

Ответы респондентов вроде бы продемонстрировали, что обучение дало эффект; но не является ли эта картина просто случайностью? Может быть, 30 случайным образом выбранных сотрудников уже работали лучше, чем персонал в среднем, или этим 30 случайно пришлось иметь дело с менее «трудными» покупателями? Пересчитаем полученные результаты обеих групп следующим образом:

1. Разделим дисперсию выборки каждой группы на размер выборки. Получим: 0,392 / 30 = 0,0131 для группы испытуемых и 0,682 / 85= 0,008 для контрольной группы.

2. Сложим полученные для каждой группы результаты: 0,0131 + 0,008 = 0,021.

3. Извлечем из полученного числа квадратный корень. Так мы получим среднее квадратичное отклонение разницы между группами. В данном случае она составит 0,15.

4. Рассчитаем разницу между средними значениями двух сравниваемых групп: 2,433–2,094 = 0,339.

5. Рассчитаем теперь вероятность того, что разница между группой испытуемых и контрольной группой больше 0, то есть группа испытуемых показала действительно, а не случайно, лучшие результаты, чем контрольная группа. Используем для этого расчета формулу normdist в Excel:

=normdist(0, 0,339, 0,15, 1)

и получим вероятность, равную 0,01.

Таким образом, существует вероятность всего 1 % того, что сравниваемые группы одинаково хороши или плохи. Значит, мы можем быть на 99 % уверены, что люди, прошедшие тренинг, действительно работают лучше остальных сотрудников службы.

Аналогично можно сравнить контрольную группу с исходным состоянием. Разница между ними составляет всего 0,007. Применив метод, только что использованный нами для сравнения тест-группы и контрольной группы, найдем, что есть 48-процентная вероятность того, что контрольная группа работает хуже исходного состояния, или 52-процентная вероятность того, что лучше. Таким образом, различие между этими группами пренебрежимо мало, а для всех практических целей его вообще не существует.

Мы определили с высокой степенью уверенности, что тренинг способствует повышению удовлетворенности потребителей. Поскольку разница между группой испытуемых и контрольной группой составляет около 0,4, отдел маркетинга пришел к выводу: обучение приведет к росту продаж примерно на 8 %. Это означает, что затраты на обучение всего персонала экономически целесообразны. Вспомним, что мы вполне могли бы взять и меньшую выборку, воспользовавшись t-распределением Стьюдента для выборок размером до 30.

Выявление взаимозависимости параметров: введение в регрессионное моделирование

На семинарах мне часто задают примерно такой вопрос: «Если благодаря внедрению новой информационной системы продажи увеличатся, то откуда мы будем знать, что это произошло благодаря именно этой системе?» Просто удивительно, как часто этот вопрос возникает при том, что последние несколько столетий специалисты по научным измерениям только и делают, что пытаются выделить эффект одной переменной. Могу лишь предположить, что эти люди незнакомы с основными понятиями научного измерения. Приведенный ранее в этой главе пример эксперимента ясно показывает: то, что объясняется многими причинами, вполне можно проследить до одного-единственного фактора влияния, сравнивая тест-группу с контрольной группой. На самом деле использование этих групп — лишь один из имеющихся способов выделения эффекта одной переменной из всей массы информации, существующей в любой компании. Другой способ — рассмотреть, насколько одна переменная коррелирует с другой.

Корреляция между двумя наборами данных обычно характеризуется числом, варьирующим от +1 до —1. Корреляция, равная +1, означает, что две переменные меняются совершенно одинаково: с ростом одной увеличивается и другая. Корреляция —1 также указывает на тесную связь между переменными, но когда одна из них увеличивается, другая уменьшается. Нулевая корреляция означает отсутствие всякой связи.

Чтобы понять, как выглядят коррелирующие друг с другом показатели, рассмотрим четыре примера, приведенных на рисунке 9.5. По горизонтальной оси отложены баллы теста на профессиональную пригодность или объем телевизионной рекламы за месяц, а по вертикальной — производительность труда или объемы продаж за месяц. Иными словами, на осях могут быть отложены любые критерии. Но из рисунка видно, что на одних диаграммах между параметрами существует более тесная связь, чем на других. В верхнем левом углу — график изменения двух переменных, никак не связанных друг с другом, между которыми нет корреляции, что видно из отсутствия наклона. Плоской и вытянутой в длину совокупность точек кажется потому, что изменчивость переменной по горизонтали больше таковой по вертикали. Будь их изменчивость одинаковой, точки разместились бы по кругу, но наклона все равно мы не наблюдали бы. График в нижнем правом углу указывает на сильную взаимозависимость двух переменных.

Прежде чем приступить к расчетам, необходимо построить график, чтобы убедиться в наличии или отсутствии заметной корреляции. Если при сравнении ожидаемых затрат на реализацию проекта с фактическими издержками ваш график оказался аналогичен изображенному в нижнем правом углу рисунка 9.5, значит, оценка была необыкновенно точной. А если он похож на набор точек в верхнем левом углу, то можно сказать, что игрок в кости оценил бы эти затраты не хуже.

Использование регрессионных моделей и данных за прошедшие периоды освобождает нас от необходимости проведения управляемого эксперимента. Допустим, что нам трудно увязать реализацию проекта в области информационных технологий и рост продаж. Однако имеется много данных о том, как влияет на продажи что-то еще, например более быстрый выход нового продукта на рынок. Если знать, что автоматизация некоторых процессов позволит сократить время от разработки до выхода продукта на рынок, то можно найти интересующую нас зависимость.

Однажды по просьбе одной крупной компании кабельного телевидения я анализировал ее проект инвестирования в новое программное обеспечение. Компания собиралась автоматизировать выполнение ряда административных задач, связанных с выпуском новых телешоу. Она надеялась, что это, в частности, приведет к повышению рейтингов подобных передач, а следовательно, и к росту доходов от рекламы. Но как компания могла оценить влияние проекта на рейтинги, зависящие от столь многих факторов?

По идее система автоматизации производства должна была ускорить выполнение определенных административных задач. Если они станут выполняться быстрее, компания сможет раньше начинать раскручивать новые шоу. У телекомпании были данные о рейтингах в прошлые периоды, и изучив старые производственные графики, мы смогли определить, сколько недель каждое новое шоу рекламировалось до выхода в эфир (ранее мы рассчитали стоимость этой информации и определили, что затраты на ее оценку полностью себя оправдают). Рисунок 9.6 представляет собой график роста рейтинга с увеличением продолжительности раскрутки (в неделях). Он построен не на основе реальных данных моего клиента, но иллюстрирует примерно ту же корреляцию.