«Во время анализа уже собранных данных имеет место следующая ситуация. При наименее глубоком анализе получаются тривиальные выводы, очевидные и не интересные. При более глубоком анализе появляются интересные и не очевидные результаты. Интуитивно они воспринимаются как «умопостигаемые», то есть некоторым напряжением мысли удается вместить их в картину мира. При дальнейшем углублении анализа начинает появляться загадочные связи, сложность их понимания растет и наконец они становятся непостижимыми, начинают восприниматься как «шум»».
Соответственно, анализ надо останавливать, когда загадочное начало появляться, но когда его еще не слишком много. В зависимости от традиций области, консерватизма коллег и предполагаемых читателей и собственных вкусов доля загадочного может доходить, как мне кажется, до 10 %, с некоторым риском — до 20 %. Есть в науке и еще одна опасность. Когда получены первые данные, человек начинает строить гипотезы. И в дальнейшем начинает под эти гипотезы — это же его гипотезы! — «подгонять» все дальнейшее. И это не всегда жульничество, иногда это происходит незаметно для него самого, например, посредством отбрасывания «заведомо ошибочных» измерений или «неудачных серий». Физик бы сказал, что этим способом человек вносит в процесс познания неустойчивость. Возможно, что именно так возникла та часть «солнечно-земной физики», которая связывает пятна на Солнце с эпидемиями чумы, существенная часть того, что связано с так называемыми «сверхмалыми дозами» и некоторые другие направления. Новейшие, революционные, прорывные, беспрецедентные, уникальные, абсолютно оригинальные, не имеющие аналогов на Западе и далее.
Человек всегда имеет в голове какую-то гипотезу, причем даже человек, который не только не имеет представления о моделях, но и обидится, если его в этом заподозрят. Видно это из того, что тренды и производные интуитивно кажутся нам информативнее равного количества измерений. Именно потому, что наше умненькое подсознание (которому очень одиноко в таких головах) воспринимает тренд и производную как опирающиеся на какую-то, причем вполне очевидную, гипотезу.
При начале изучения какого-либо вопроса мы всегда располагаем какой-то информацией. Она может в большей или меньшей степени относиться к изучаемому нами объекту, она может быть более или менее подробной, она может быть более или менее достоверной, но она всегда есть. А раз она есть, то она может быть сложена в предчувствие, интуитивную картину, гипотезу. Вопрос — как степень определенности этой недотеории влияет на процесс получения данных?
Если теория хорошо определена, всеми признана, единогласно принята и так далее, то есть риск подгонки результатов под теорию. Причем эта подгонка может быть натуральным жульничеством, «простым, как мычанье», а может быть и совершенно не осознаваемым самообманом. Самый распространенный способ самообмана — отбрасывание «заведомо ошибочных» измерений или «заведомо неудачных серий замеров».
В противоположном случае, когда теории нет совсем, мы находимся в ситуации «очень предварительного наблюдения». Ничего криминального в этом нет, но пренебрежение возможностью работать с какой-то, пусть плохонькой, но гипотезой, увеличивает количество работы по набору данных. С другой стороны, наличие непредвзятого взгляда позволяет надеяться, что мы не пропустим совсем новое явление, если уж оно нам встретится. В реальной же ситуации человек часто ленится разрабатывать теорию, мотивируя это именно целесообразностью непредвзятости и обрекает себя тем самым на лишнюю работу.
Естественно, что истина лежит между Сциллой и Харибдой и важно не пытаться пройти боком, цепляя носом байдарки за одну скалу, ломая руль о другую, и видя разинутые в беззвучном хохоте рты древних греков, прыгающих с видеокамерами по камням.
Источники
Источников по классической метрологии много. Полный анализ их невозможен, я бы рекомендовал следующие книги:
Б.Г.Артемьев, Ю.Е.Лукашов «Справочное пособие для специалистов метрологических служб»;
В.А.Кузнецов, Г.В.Ялунина «Общая метрология»;
«Метрология, стандартизация, сертификация и электроизмерительная техника» под. ред. К.К.Кима;
В.А.Вышлов, Б.Г.Артемьев «Техническое регулирование: безопасность и качество».
Заметим, что для сходимости процесса чтения не достаточно читать, скажем в каждую минуту больше, чем в эту минуту рожает совокупный всечеловеческий Плагиатор. Непрочитанный остаток должен убывать не просто достаточно быстро, чтобы процесс сходился, а так, чтобы процесс сходился за конечное время и, что самое страшное, за не слишком большое.
Ну, а то полезное и приятное, что нашлось в Интернете, собрано в указателе.
Не считайте его исчерпывающим — да хотя бы потому, что мир изменяется, а любой текст с какого-то момента (и в течение какого-то времени, если он обновляемый) — увы, нет. Может быть, когда-нибудь все «написываемое» разделится иначе, нежели сейчас — не на художественное и техническое, а на «вечное» и «синхронное». Вечное — это то, что автор сдал на хранение в Сеть, и пообещал более не лапать. Синхронное — это то, что манифестируется как изменяемое — самим автором, другими людьми, компьютерной программой — «имитатором автора», «ИскИном» или иными, неведомыми сегодня механизмами. Заметим, что идею изменяющейся книги предложил (кажись, впервые) Станислав Лем («Экстелопе́дия Вестранда»).
Все эти источники — на самом деле источники по физико-технической метрологии, просто потому, что книг, озаглавленных «социологическая метрология» или «психологическая метрология» нет. Но любой хороший учебник по социологии и психологии, причем не по философским основам этих дисциплин, а по реальным технологиям, по методике исследований и будет книгой по социологической и психологической метрологии. На сегодня наиболее серьезное внимание именно этому аспекту социологии уделено в следующих книгах, большая часть которых есть в Интернете:
Батыгин Г.С. Лекции по методологии социологических исследований. М., 1995;
Горшков М.К., Шереги Ф.Э. Прикладная социология. М., 2009;
Девятко И.Ф. Методы социологического исследования. М., 2002;
Толстова Ю.Н. Измерение в социологии. М., 1998;
Ядов В.А. Стратегия социологического исследования. М., 2007.
Ровно так же, как физика и техника не сводится к СуперКамиоканде и заржавленному резьбомеру, так же и социология и психология не сводятся к методам составления тестов и анкет. Социология — таков сегодняшний этап развития этой науки — тщательно обсуждает, как надо строить гипотезы (что к классической метрологии не относится), как измерить то, что мы хотим измерить (то есть как превратить наше интуитивное представление в «индикаторы» — измеряемые, хотя бы социологическими методами, величины), как построить выборку, и наконец, как составить анкету и произвести опрос. Этот текст — не учебник по физике, технике или социологии, поэтому мы не обязаны (хотя и можем) подробно рассматривать, как именно эти авторы предлагают измерять те или иные характеристики общества. Но вкратце мы это сделаем.
Развитие метрологии: «газ»
… а «тормоз» будет потом. Скорость развития определяется, как всегда эндогенными и экзогенными факторами, проще говоря — бурчанием в своем желудке и битьем со стороны. Эндогенный фактор — это естественные для нормального человека интерес к области, в которой он работает и желание делать свое дело хорошо. Это желание не случайно названо «естественным», оно — результат длительной эволюции, при которой вымирали общества, не поощряющие в людях такие желания. Трактуя эту ситуацию несколько расширительно, можно сказать, что общества не могут жить долго, будучи слишком глупыми — они вымирают, уступая место на жизненной арене другим, более умным. Возникновение которых неизбежно, потому что при увеличении времени вероятность синхронного развития общностей падает (если нет внешнего механизма поддержания равновесия, например сверхцивилизации мудрых и гуманных инопланетян). Вперед вырывается общество, поощряющее в достаточной мере и у достаточного количества своих членов желание работать.