Теме перемен в науке под влиянием вычислений с большими объемами данных посвящена книга The Fourth Paradigm под редакцией Тони Хея, Стюарта Тансли и Кристин Толле (Microsoft Research, 2009). В статье Machine science Джеймса Эванса и Андрея Ржецкого (Science, 2010) обсуждаются некоторые способы научных открытий с помощью компьютеров. В Scientific Discovery: Computational Explorations of the Creative Processes* Пэта Лэнгли и соавторов (MIT Press, 1987) приведен ряд подходов к автоматизации открытия научных законов. Проект SKICAT описан в статье From digitized images to online catalogs Усамы Файяда, Джорджа Джорговского и Николаса Уира (AI Magazine, 1996). Статья Machine learning in drug discovery and development* Ники Уэйла (Drug Development Research, 2001) предлагает обзор по теме открытия и разработки лекарств. Об Адаме, роботе-ученом, можно почитать в статье The automation of science Росса Кинга и соавторов (Science, 2009).
О применении анализа данных в политике подробно рассказывается в книге Саши Иссенберга The Victory Lab (Broadway Books, 2012). Книга How President Obama’s campaign used big data to rally individual votes того же автора (MIT Technology Review, 2013) дает представление о самом большом на сегодняшний день успехе больших данных — избирательной кампании Барака Обамы.
В книге Нейта Сильвера The Signal and the Noise* (Penguin Press, 2012)[128] есть глава о его методе агрегирования опросов избирателей.
Роботизированное вооружение — тема книги Питера Сингера Wired for War (Penguin, 2009). В книге Cyber War (Ecco, 2012)[129] Ричард Кларк и Роберт Нейк трубят тревогу по поводу кибервойны. Моя собственная работа по соединению машинного обучения и теории игр для победы над противником, начавшаяся как учебный проект, описана в Adversarial classification* Нилеша Далви и соавторов (Proceedings of the Tenth International Conference on Knowledge Discovery and Data Mining, 2004). Книга Predictive Policing Уолтера Перри и соавторов (Rand, 2013) познакомит вас с использованием аналитики в работе полиции.
Глава 2
Эксперименты по перепрограммированию мозга хорька описаны в статье Visual behaviour mediated by retinal projections directed to the auditory pathway Лори фон Мельхнер, Сары Паллас и Мриганки Сура (Nature, 2000). История Бена Андервуда рассказана в статье Seeing with sound Джоанны Мурхед (Guardian, 2007) и на сайте www.benunderwood.com. В статье Generality of the functional structure of the neocortex (Naturwissenschaften, 1977) Отто Кройцфельдт утверждает, что кора головного мозга — единый алгоритм. С ним согласен Вернон Маунткасл в главе An organizing principle for cerebral function: The unit model and the distributed system книги The Mindful Brain под редакцией Джералда Эделмена и Вернона Маунткасла (MIT Press, 1978)[130]. Гэри Маркус, Адам Марблстоун и Том Дин возражают против этой теории в статье The atoms of neural computation (Science, 2014).
В работе The unreasonable effectiveness of data Алона Халеви, Питера Норвига и Фернандо Перейры (IEEE Intelligent Systems, 2009) приводятся аргументы в пользу машинного обучения как новой парадигмы научных открытий. Бенуа Мандельброт рассматривает фрактальную геометрию природы в книге The Fractal Geometry of Nature* (Freeman, 1982)[131]. Книга Джеймса Глейка Chaos* (Viking, 1987)[132] обсуждает и иллюстрирует множества Мандельброта. Программа Langlands, научный проект по объединению разных математических дисциплин, описана в книге Эдварда Френкеля Love and Math (Basic Books, 2014)[133]. The Golden Ticket Лэнса Фортнау (Princeton University Press, 2013) представляет собой введение в NP-полноту и проблему P = NP. The Annotated Turing+ Чарльза Петцольда (Wiley, 2008)[134] объясняет машины Тьюринга, анализируя его статью на эту тему.
Проект «Cайк» описан в статье: Cyc: Toward programs with common sense* Дугласа Лената и соавторов (Communications of the ACM, 1990). Питер Норвиг обсуждает критику Ноама Хомского, которой тот подверг статистическое обучение в статье On Chomsky and the two cultures of statistical learning (norvig.com/chomsky.html). Книга Джерри Фодора The Modularity of Mind (MIT Press, 1983) суммирует воззрения автора на принципы работы разума. Статьи What big data will never explain Леона Уисельтира (New Republic, 2013) и Pundits, stop sounding ignorant about data Эндрю Макафи (Harvard Business Review, 2013) дают почувствовать разногласия в отношении возможностей больших данных. Даниэль Канеман объясняет, почему алгоритмы часто побеждают интуицию, в двадцать первой главе книги Thinking, Fast and Slow. Дэвид Паттерсон обосновывает важность вычислений и сбора данных в борьбе с раком в статье Computer scientists may have what it takes to help cure cancer (New York Times, 2011).
Подробнее о путях разных племен к Верховному алгоритму — в соответствующих разделах ниже.
Глава 3
Классическая формулировка Юмом проблемы индукции появляется в первом томе «Трактата о человеческой природе» (1739). Дэвид Уолперт выводит свою теорему «бесплатных обедов не бывает» для индукции в статье The lack of a priori distinctions between learning algorithms* (Neural Computation, 1996). В статье Toward knowledge-rich data mining* (Data Mining and Knowledge Discovery, 2007) я обсуждаю важность априорного знания в машинном обучении, а в The role of Occam’s razor in knowledge discovery* (Data Mining and Knowledge Discovery, 1999) — неправильные интерпретации бритвы Оккама. Переобучение — одна из главных тем уже упоминавшейся книги The Signal and the Noise Нейта Сильвера, который считает ее «самой важной научной проблемой, о которой вы никогда не слышали». В статье Why most published research findings are false* Джона Иоаннидиса (PLoS Medicine, 2005) обсуждается проблема ошибочного принятия случайных научных результатов за истинные. Йоав Беньямини и Йосеф Хохберг предлагают способ борьбы с ней в статье Controlling the false discovery rate: A practical and powerful approach to multiple testing* (Journal of the Royal Statistical Society, Series B, 1995). Дилемма смещения–дисперсии анализируется в статье Neural networks and the bias/variance dilemma Стюарта Джемана, Эли Биненстока и Рене Дурсата (Neural Computation, 1992). В статье Machine learning as an experimental science Пэта Лэнгли (Machine Learning, 1988) обсуждается роль эксперимента в машинном обучении.
Уильям Стэнли Джевонс впервые предложил считать индукцию противоположностью дедукции в книге The Principles of Science (1874). Статья Machine learning of first-order predicates by inverting resolution* Стива Магглтона и Рэя Бантина (Proceedings of the Fifth International Conference on Machine Learning, 1988) положила начало применению обратной дедукции в машинном обучении. Введением в область индуктивного логического программирования может служить книга Relational Data Mining* под редакцией Сашо Джероского и Нады Лаврач (Springer, 2001), В ней также рассматривается обратная дедукция. Статья The CN2 Induction Algorithm* Питера Кларка и Тима Ниблетта (Machine Learning, 1989) суммирует ряд важнейших алгоритмов выведения правил в стиле Михальского. Подход к выведению правил, применяемый в торговых сетях, описан в статье Fast algorithms for mining association rules* Ракеша Агарвала и Рамакришнана Шриканта (Proceedings of the Twentieth International Conference on Very Large Databases, 1994). Пример выведения правил для прогнозирования рака можно найти в статье Carcinogenesis predictions using inductive logic programming Ашвина Шринивасана, Росса Кинга, Стивена Магглтона и Майкла Стернберга (Intelligent Data Analysis in Medicine and Pharmacology, 1997).
