Качество

Один менеджер, по его словам, член профессиональной ассоциации качества, спросил меня, как измерить качество. Он добавил, что споры об оценке качества постоянно ведутся на ежемесячных собраниях их ассоциации. Мне показалось это странным, поскольку тот, кого иногда называют «отцом качества», Эдвард Деминг, расценивал качество как количество. Этот менеджер, похоже, слышал о Деминге, но не знал, что тот был статистиком. Деминг учил, что если у вас нет плана измерений, значит, нет и программы качества. Для него качество было постоянным соответствием ожиданиям. А несоответствие выявленным ожиданиям — это дефект. Оценка качества в производственном процессе сводилась, по мнению Деминга, к определению частоты возникновения различных дефектов и оценке отклонений от ожидавшейся нормы.

Для понимания концепции измерения качества я считаю точку зрения Деминга абсолютно необходимой, но, возможно, все-таки недостаточной. При всем уважении к Демингу я думаю, что полное определение качества должно включать в себя нечто большее. Ведь товар, произведенный с минимальными затратами, может идеально соответствовать ожиданиям производителя и все же считаться потребителями некачественным. А если потребители не считают продукт качественным, то мнение производителя по этому поводу значения не имеет. Полное представление о качестве любого продукта может дать только опрос потребителей.

Полезно вспомнить и о различии между заявленными и выявленными предпочтениями. Участвуя в опросе, потребители указывают свои предпочтения. Делая (или не делая) покупки, они тоже демонстрируют свои предпочтения. При этом лучшим выражением их мнения о качестве товара является премия, которую они готовы заплатить за это высочайшее качество. Этот «премиум-доход» можно сравнить с сэкономленными расходами на рекламу — ведь обычно люди готовы заплатить больше за товары, считающиеся высококачественными или остромодными даже без той дополнительной рекламы, которая потребовалась бы в ином случае. Качественные товары чаще покупают повторно, и потребители сами делают им хорошую рекламу. Все упомянутое до сих пор поддается, по крайней мере, выявлению путем проведения опроса, а толковый аналитик всегда может рассчитать нечто вроде подразумеваемой ценовой премии на основе покупательского поведения потребителей.

Определение стоимости процесса, отдела или службы

Смысловая нагрузка вопроса «Какова стоимость X?» почти так же сложна, как измерения, позволяющие на него ответить. Обычно определение стоимости кажется трудным делом из-за отсутствия четкого понимания того, для чего это делается. Иногда руководители информационных служб спрашивают меня, как определить стоимость какой-нибудь информационной технологии. Тогда я, в свою очередь, задаю им ответный вопрос: «А вы что же, собираетесь от нее отказаться?» Ведь все проблемы, связанные с оценкой, будь то в бизнесе или правительственных учреждениях, представляют собой сравнение имеющихся альтернатив. Собираетесь попробовать рассчитать стоимость информационной технологии для компании? По-видимому, вам придется сопоставить затраты и выгоды от ее внедрения и затраты и выгоды работы без нее. Поэтому задаваться подобным вопросом стоит только в том случае, если вы действительно собираетесь обойтись без данной ИТ (или того, чью стоимость вы хотели узнать).

Бывает, однако, что директору информационной службы на самом деле нужно узнать, возросла ли стоимость ИТ с тех пор, как он получил это назначение. В таком случае следует сосредоточиться на расчете чистых выгод от конкретных решений и программ, принятых и реализованных за этот период. К задаче можно также подойти как к оценке эффективности в денежном выражении, о чем мы говорили в предыдущих главах. Если директор информационной службы интересуется стоимостью информационной технологии, потому что хочет найти аргументы против передачи ее функций на сторону, то его на самом деле интересует не стоимость ИТ, а стоимость сохранения отдела по сравнению со стоимостью аутсорсинга.

Обычно вопрос о стоимости возникает только тогда, когда появляются альтернативы. При правильной формулировке альтернатив и решения, которое надо принять, ответ на вопрос о стоимости будет для вас намного более очевиден.

Инновации

Как и все остальное, инновации, если только они реальны, всегда можно наблюдать. По аналогии с многими другими задачами измерения, главная проблема здесь, скорее, в определении решения, которое принимается. Что бы вы сделали иначе, знай заранее результаты оценки инноваций? Если вы можете назвать какое-нибудь реальное решение (например, при оценке работы команды или отдела исследований и разработок для того, чтобы премировать или уволить сотрудников), то читайте дальше. В противном случае никакого экономического смысла в оценке инноваций нет.

Если вам удалось сформулировать, по крайней мере, одно решение, которое будет принято по результатам этой оценки, я советую воспользоваться одним из трех возможных методов. Во-первых, всегда можно получить чисто субъективные, но контролируемые оценки. Привлеките независимых экспертов и используйте для коррекции ошибок модели Раша и другие имеющиеся инструменты. Один из них — испытание вслепую, когда специалист не знает, чье творчество (рекламу, логотипы, научную работу, архитектурный проект и т. п.) он оценивает. Этот прием полезен, когда необходимо оценить качество исследований и разработок на основе портфеля генерированных идей. Некоторое представление о том, как это делается, мы дали в примере с компанией Mitre (см. главу 2).

Другой способ — использовать известные на тот момент, когда научная работа готовится к публикации, показатели качества инноваций, например число полученных патентов или опубликованных научных статей. В области библиометрии (изучения текстов, в том числе научных работ) применяется такой метод, как подсчет числа прямых и перекрестных упоминаний. Если человек пишет в статье о чем-то действительно революционном, то на его работу обычно ссылаются другие исследователи. В этом случае индекс цитируемости данного автора часто более информативен, чем число опубликованных им работ. Тот же метод используют при выдаче патентов, поскольку в заявке положено ссылаться на существующие аналогичные патенты, чтобы можно было выявить сходства и различия между ними и предлагаемым изобретением. Специалисты в области, называемой наукометрией, пытаются оценить научную эффективность^[57]. Правда, обычно они сравнивают целые компании или страны, но данный подход может пригодиться и вам.

Последний заслуживающий упоминания метод похож на обсуждавшийся нами в предыдущих главах метод оценки результатов деятельности в денежном выражении. Как сказал гуру с Мэдисон-авеню Дэвид Огилви, «если что-то не продается, значит, оно не креативно». Вещи могут казаться креативными, но не являться таковыми с точки зрения бизнеса. Если цель состояла в том, чтобы модернизировать решение бизнес-проблемы, то каковым оказался экономический (то есть, в конечном счете, финансовый) результат этого решения? Почему бы не оценивать эффективность ученых так, как Том Бейквелл оценивал производительность труда преподавателей или как Билли Бин измерял эффективность бейсболистов (см. главу 11)?

Доступность информации

Мне довелось, по крайней мере, четырежды моделировать доступность информации, и в конце концов в каждой модели оказывались одни и те же переменные. Более высокая доступность информации означает, что вы тратите меньше времени на ее поиск и реже теряете ее. Когда информация потеряна, вы либо обходитесь без нее, либо пытаетесь генерировать ее заново. Поиски документа либо попытки его повторного создания легко измерить через затраты времени на выполнение этой совершенно лишней и нежелательной работы. Если восстановить утерянную информацию невозможно, то вы расплачиваетесь за это менее обоснованными и взвешенными решениями, которые чаще оказываются ошибочными. Для начала калиброванные эксперты могут указать интервалы для средних значений затрат времени на поиск документов, составление их заново или вообще на работу без утерянной информации.