Когда люди действительно имеют оценочное мышление, то они начинают ценить наличие специалиста, который помогает им посмотреть на происходящее глазами человека со стороны. Это то, что я часто делаю. Как специалист по оценке, я помогаю управленцам и сотрудникам, и даже участникам, понять, как оценщики думают, как определить критерии, как интерпретировать данные, как делать выводы – но им все равно нужен оценщик, чтобы это было проще делать, необходима еще одна пара глаз, чтобы посмотреть на вещи с другой точки зрения. Помогать думать оценочно – это про улучшение коммуникаций и понимание происходящего.
То есть вы не считаете, что оценка станет лишь частью менеджмента, так как специалист по оценке имеет иные функции помимо того, что позволяет понимать, что происходит на самом деле.
Да. Оценщики также дают дополнительную точку зрения. Даже там, где есть внутренние оценщики в составе руководства, их задача – проводить оценку и обеспечивать наличие хороших данных и убедиться, что люди тратят время на их интерпретацию. Я считаю, что функция оценщика сохранится, но чем лучше менеджмент понимает оценку, тем лучше будет коммуникация и использование результатов оценки.
В статье «Будущее оценки программ», опубликованной в 2009 г., вы писали, что в следующие десятилетия будет активно обсуждаться «золотой стандарт» методик оценки. Можем ли мы говорить о существенных изменениях в ответе на этот вопрос сегодня? Или у нас все тот же лидер – рандомизированные контролируемые исследования?
Споры продолжаются, но становится все более ясно, что в быстро меняющемся мире нужны методики с быстрым оборотом, позволяющие получить реальные данные в режиме реального времени. Рандомизированные контролируемые исследования на самом деле не очень полезны в сложном, динамичном, быстро меняющемся мире. Они лучше всего работают в стабильной ситуации, когда имеются четкие фиксированные вмешательства.
В быстро меняющемся мире нужны методики с быстрым оборотом, позволяющие получить реальные данные в режиме реального времени и так же быстро предоставлять их людям.
Если вам нужно работать с темами пандемии, изменения климата или гражданских волнений, когда все быстро меняется, то рандомизированные контролируемые исследования не подходят, они слишком жестки и требуют слишком много времени.
Скорость изменений означает, что оценка должна позволять получать результаты быстро, в режиме реального времени, и так же быстро предоставлять их людям, которым надо принимать решения в условиях ограниченного времени.
Профессия оценщика меняется в ответ на происходящее вокруг, но и сами оценщики меняют мир. Что эта профессия, на ваш взгляд, уже дала миру?
Мне кажется, мы живем во времена, когда во всем мире идет битва между подходами, основанными на доказательствах, фактах и науке, и той частью мира, которая их игнорирует и лишь стремится продвигать идеологию. Оценка является частью таких всемирных данных. Оценка показала, что если ты пользуешься данными, то принимаешь решения лучше и помогаешь людям больше.
Мы видели, как это работает с людьми, отказывавшимися от вакцинации против COVID, не верящих данным о пандемии и вакцинации. В так называемом мире постправды или антинауки, где люди могут говорить что угодно, во что они верят, и считать, что это правда, оценщики помогают людям ценить важность доказательств, смотреть на реальность и работать с ней, а не с субъективными представлениями и убеждениями. В этом наш вклад.
Вы автор множества концепций оценки программ, используемых оценщиками по всему миру. Мы хотели бы обсудить некоторые из них. Первый вопрос касается концепции оценки с ориентацией на использование. В ней вы подчеркиваете роль клиента и его интерес, его желание участвовать в использовании результатов оценки. В настоящее время инвесторы социальных проектов и даже государство (как, например, в модели облигаций социального воздействия, SIB), часто становятся клиентами оценки. Они не вовлечены в сам проект, но являются ее заказчиками.
В так называемом мире постправды или антинауки оценщики помогают людям ценить важность доказательств, смотреть на реальность и работать с ней.
Возможно ли использовать принцип оценки с упором на использование в этой ситуации? Есть ли особенности ее применения в этом случае?
Это важный вопрос. Оценка с упором на использование требует учитывать различные уровни и различные типы заинтересованных лиц – мы называем их предполагаемыми пользователями. Для кого предназначена оценка? Если предполагаемые пользователи – это инвесторы в социальные проекты, то я захочу привлечь их к определению критериев, которые они ищут. Что они хотят узнать, чтобы лучше вложить свои инвестиции?
Когда я работаю с социальными инвесторами, отчасти я помогаю им понять как клиентам, что есть разные способы проведения оценки, потому что существует много разных видов программ. Например, когда я работаю с советами директоров, инвестирующих в социальные проекты, или благотворительными фондами, я делаю с ними такое упражнение. Я составляю список разных видов финансовых инструментов: акции голубых фишек, быстрорастущие акции, недооцененные акции, то есть акции компаний, находящихся в переходном периоде или испытывающих сложности, долгосрочные облигации, краткосрочные облигации, паевые инвестиционные фонды. Эти люди хорошо знают различные виды финансовых инструментов и их отличия в доходности. Затем я беру набор проектов и провожу параллели между разными видами проектов и разными видами финансовых инструментов.
Голубые фишки – это очень хорошо известные программы вроде Всемирной продовольственной программы или ЮНИСЕФ, они известны, стабильны и обладают хорошей репутацией. Эквивалентом быстрорастущей акции финансового рынка является программа, стремящаяся к масштабированию, к распространению на другие территории внутри страны или за ее пределами.
Недооцененная акция – это программа, находящаяся в переходном периоде и нуждающаяся в помощи, чтобы пройти его и адаптироваться. Долгосрочные облигации – это эквиваленты операционной поддержки программы без уточнения, какой конкретный проект программа будет реализовывать.
Это упражнение помогает инвесторам социальных проектов понять, что они оценивают различные финансовые инструменты по-разному. Они смотрят на разные виды акций, инвестиционных фондов, облигаций, используя различные критерии, и мы тоже оцениваем различные программы при помощи различных критериев в зависимости от характера программы и характера инвестиций. Использование логики оценки финансовых инструментов помогает им понять логику оценки программ.
Теория трансформации, пытающаяся изменять системы, должна состоять из множества различных теорий изменений. Оценка Blue Marble связана с теорией трансформации: как только мы начинаем иметь дело с крупными системами, мы имеем дело с глобальными воздействиями.
У инвесторов социальных проектов тоже есть внутренние сети и они тоже разработали ряд методологических подходов. Например, они очень любят метод социального возврата на инвестиции (SROI). Иногда он даже принимается как единственно возможный и безальтернативный для оценки любых результатов любого проекта. Это выглядит несколько противоречиво со взглядами специалистов по оценке – если опять же, исходить из концепции оценки, ориентированной на использование.
Социальную эффективность инвестиций все равно нужно интерпретировать и адаптировать, смотреть, идет ли речь о долгосрочной социальной эффективности инвестиций или краткосрочной, об инновационных высокорискованных программах, высокорискованных программах с высоким потенциалом эффективности или программах с низким риском и низкой отдачей. Когда я говорю о параллелях между различными видами финансовых инструментов и различными видами программ, я говорю о том, какой объем риска инвесторы социальных проектов готовы брать на себя, насколько инновационными они хотят быть, каков временной горизонт инвестиций и отдачи, ищут ли они несколько разных показателей или только один показатель успеха.