Зарплаты у программистов довольно высокие. Поэтому небольшим компаниям, которые только выходят на современный переполненный конкурентами рынок, может показаться, что достичь самоокупаемости в такой среде практически невозможно. Однако в действительности, хотя у крупных корпораций и есть сотни программистов, которые могут переиграть любого конкурента, процесс их «раскачки» занимает довольно продолжительное время. Небольшие «маневренные» фирмы способны быстрее подстроиться под течения рынка, держа нос по ветру. Они вполне вольготно могут существовать и развиваться в своей нише, куда большие игроки еще не добрались из-за неповоротливости их бюрократической машины. Но когда небольшая компания хорошо себя чувствует, она волей-неволей начинает расти ради получения еще большей прибыли. И со временем переходит в другую конкурентную лигу. Круг замыкается: хочешь жить спокойно – будь маленьким и слабым, хочешь жить сытно и по-царски – качай мышцу. Поэтому идеальной стратегией для фирм любого размера будет постепенный набор программистов с самого начала своего существования. Иначе можно просто потерять бизнес, если спохватиться слишком поздно.

Если вы разделяете такой подход к делу, который требует бо́льших затрат на своих программистов, но в ответ дает вам полную свободу и гибкость по извлечению прибыли из бизнес-процессов, эта книга для вас. Однако даже если вы его не разделяете и склонны нанимать на работу сторонних специалистов, эта книга и для вас тоже, потому что позволит при найме делать осознанный выбор. Повторюсь: здесь вы найдете описание всего процесса сбора, аналитики и обработки больших данных.

В прошлом разделе было сказано, что существование бизнеса в условиях современного перенасыщенного рынка практически невозможно без штатных программистов. Фирмы со старым подходом к делу, с бумажным документооборотом, будут медленно вымирать, проигрывая в конкурентной борьбе тем, кто стремится к минимизации потерь прибыли.

Теперь углубимся в причины этих потерь. Для чего сначала поверхностно коснемся темы больших данных и машинного обучения, чтобы вникнуть в суть, изучить терминологию и наметить конечные цели, которые подробнее обсудим в заключительной части книги. Но прежде сделаем небольшое отступление и уточним, что «программисты», речь о которых шла раньше, бывают разные. Они трудятся в различных областях и направлениях, решая соответствующие профессиональные задачи. Если работа программиста каким-то образом связана с данными (информацией), его называют «специалистом по данным». К этой категории относятся:

• Инженеры по данным, которые создают огромные хранилища, вмещающие сотни терабайт информации. Они же пишут программы по сбору и конвертации этих данных в более удобные форматы, чтобы другие сотрудники могли ими пользоваться.

• Аналитики данных, которые занимаются построением и анализом графиков и диаграмм по уже собранным данным, чтобы лучше понимать бизнес-процессы и увеличивать прибыль компании.

• Специалисты по машинному обучению, которые могут создавать и обучать на собранных данных системы для предсказания каких-либо значимых для бизнеса параметров и их величин.

Иногда в тексте вместо общего названия «программисты» вам встретится более конкретное «специалист по данным». А какое именно направление имеется в виду, вы поймете из контекста.

Английское словосочетание Big Data дословно переводится как «большие данные». По сути – это подробная информация о предмете. К примеру, большие данные для торгового центра включают в себя сведения о чеках покупателей, о количестве посетителей и даже о температуре внутри здания в течение всего дня. При этом данные не ограничиваются стенами торгового центра, в них могут быть добавлены заметки о количестве людей, пользующихся ближайшей станцией метро. Или даже информация о частоте стрижки городскими службами расположенных в радиусе ста метров от торгового центра кустов. Эти с виду бесполезные данные, скрупулезно собираемые в течение продолжительного периода времени, и называются «большими данными».

При этом они представляют собой не только числа. Это могут быть:

• Текстовые отзывы клиентов и их обращения в службу поддержки.

• Комментарии в социальных сетях.

• Записи телефонных разговоров с клиентом.

• Фотографии – от аватаров клиентов до снимков товаров.

• Видео с камер наблюдения.

Вся эта информация может легко занимать десятки терабайт. И чем старше фирма, тем больше у нее накоплено данных для проведения ценных исследований: в современном мире намного дороже удалять старую информацию, чем хранить ее вечно. Это как раз тот случай, когда «своя ноша не тянет».

Из-за непрерывно поступающих данных компании стараются минимизировать объемы хранящейся информации для снижения расходов на электронные носители. Для этого, например, аудио- и видеозаписи с помощью специальных алгоритмов переводятся в более компактный вид. Из аудиофайлов выделяют речь. Из видеозаписей, например с камер наблюдения, можно получить данные о количестве находящихся в магазине посетителей. Поэтому если преобразовывают формат, то нет нужды хранить само исходное видео или аудио. Более того, даже обычная текстовая информация, которая и так занимает немного места, отлично сжимается благодаря современным алгоритмам. Это сильно уменьшает занятый объем хранилища компании. Однако, несмотря на затраты, сейчас даже у небольших предприятий, далеких от информационных технологий, можно найти в кладовке работающий сервер, забитый несколькими терабайтами данных.

Непосвященному человеку куча устаревшей информации на серверах компании может показаться мусором. Но на самом деле это нефть 21 века. Огромные массивы накопленных данных используются для предсказания будущего, в котором бизнес сможет развиваться лучше и заработать больше. Делаются такие прогнозы не напрямую человеком, а посредством компьютера, в который вложены специальные математические алгоритмы. Даже если на график, на котором отображено ежедневное изменение тысячи параметров за последний год, посмотрит хорошо подготовленный специалист, он увидит лишь забор из линий. А компьютер, машина, не напрягаясь сможет сделать верный вывод о влиянии этих параметров на чистую прибыль компании. Но если бы данные вообще не были собраны, то и никакого вывода сделать было бы нельзя. Именно для этого всевозможная информация и хранится в компании, потому что без нее невозможно натренировать машинный интеллект, сделать с его помощью прогноз на будущее и получить выгоду для бизнеса.

Далеко не все данные, которые попадают на серверы компании, представлены в удобном для использования виде. Поэтому «склады» этих данных разделяют на несколько типов, между которыми непрерывно перекачивается информация, изменяя свою форму (или, говоря профессиональным языком, формат). Первый склад называется «озеро данных» (с английского ”Data Lake”). В него попадает вообще все, во всех возможных форматах. Там могут находиться файлы текстовых документов PDF или DOC вперемешку с JPEG-изображениями и MP4-видеофайлами. Как можно догадаться, если бессистемно поставлять подобные потоки информации в хранилище и не определить заранее, как и куда сохранять, то озеро данных очень быстро превратится в болото. Чтобы этого не произошло, нужен специальный программист, он же «инженер по данным». А если быть совсем точным, «директор по данным» (с английского ”Chief Data Officer”). Он следит как за порядком на этом «водохранилище», так и за правами доступа к нему. Весь процесс называется «управление данными» (с английского ”Data Governance”).

Итак, озеро данных – это первый «склад», куда попадает информация. После чего начинается процесс ее трансформации в более удобные формы для последующего размещения в следующем складе под названием «хранилище данных» (с английского ”Data Warehouse”). Сам процесс преобразования информации и ее перемещения между «складами» называется ETL (англ. термин ”Extract, Transform, Load” – дословно «извлечение, преобразование, загрузка»). И в конце, когда данные оказываются в хранилище в удобной для чтения форме, с ними уже могут начинать работать другие специалисты. На основе этих данных строят графики, их анализируют, на них тренируют модели машинного обучения, а также используют их для построения статистики и бизнес-отчетов.