Гиперскейл-ЦОД – гипермасштабируемые ЦОД, зачастую имеют меньшее резервирование компонентов инженерной инфраструктуры, так как падение ЦОД может быть компенсировано другими ЦОД этой же организации, что значительно удешевляет строительство ЦОД при мощности в сотни мегаватт. Такие ЦОД могут позволить себе использовать специально заказанное у вендора ИТ- и телеком-оборудование, способное работать в гораздо более широких температурных диапазонах с очень низкими запросами к внешней среде (например, нормальная температура эксплуатации до +40 °C без требований к уровню влажности), позволяя упростить системы охлаждения и требования к ним.

Колокейшн-провайдеры – компании, предоставляющие места в своих ЦОД для коммерческих клиентов. Тут применяются наиболее жесткие требования по беспрерывной работе и температурно-влажностным режимам по причине того, что диапазон размещаемого оборудования может быть очень широк по своим эксплуатационным параметрам и ЦОД должен соответствовать самым жестким требованиям. Для колокейшн-провайдеров характерны дополнительные специфические аспекты, которые требуют четкой регламентации, например наличие службы физической безопасности и отдела поддержки клиентов.

Для ЦОД, особенно коммерческих, важно соответствие международным стандартам. В данном случае мы будем говорить только о тех стандартах или частях стандартов, которые относятся к службе эксплуатации ЦОД, не затрагивая аспекты строительства инфраструктуры, безопасности и т. д. Даже если вы не проходите официальную сертификацию, существуют еще и внутренние аудиты от клиентов ЦОД или внутренних служб, которые должны удостоверять, что эксплуатация выстроена правильно. Таким образом, целесообразно оценивать свою деятельность именно по существующим стандартам.

Для этого мы рассмотрим основные зарубежные и отечественные стандарты и нормативные документы, регламентирующие операционную деятельность ЦОД.

Стандарт американской консалтинговой компании Uptime Institute знаменит тем, что именно в нем излагается разработанная компанией и ставшая широко известной по всему миру классификация ЦОД по четырем уровням надежности (Tier), многократно повторенная позже в других стандартах.

Поскольку мы по ходу изложения будем упоминать эти уровни, напомним читателю об их сути и принципиальных отличиях.

• Tier I предполагает наличие базового набора элементов, позволяющего ЦОД выполнять свои функции;

• Tier II подразумевает наличие резервирования активных компонентов инфраструктуры (ДГУ, ИБП, чилеры, внутренние блоки системы кондиционирования и пр.);

• Tier III определяется такой топологией, которая позволяет проводить плановое обслуживание систем и любых их компонентов без прерывания работы ЦОД;

• Tier IV обеспечивает работоспособность ЦОД при любом единичном отказе в любой точке инфраструктуры.

С точки зрения эксплуатации ЦОД, Tier I и Tier II предполагают вынужденные остановки ЦОД на обслуживание, в то время как Tier III и Tier IV позволяют выполнять все необходимые работы по обслуживанию ЦОД без прерывания сервисов. Это обстоятельство, наряду со сравнительной простотой реализации ЦОД уровня Tier III по сравнению с Tier IV, обуславливает широкое распространение ЦОД уровня Tier III как в России, так и за рубежом.

Однако данный стандарт, излагая классификацию и принципы реализации ЦОД всех четырех уровней, никак не затрагивает подходы к эксплуатации и техническому обслуживанию ЦОД. Они описаны в другом стандарте Uptime Institute, о котором мы говорим далее.

На наш взгляд, это наиболее полный по содержанию документ, в общих принципах описывающий все аспекты эксплуатации ЦОД. Стандарт состоит из трех разделов: 1) Management and Operations («Управление и эксплуатация»); 2) Building Characteristics («Характеристики здания»); 3) Site Location («Место расположения здания»).

Первый раздел затрагивает следующие категории:

• подбор персонала и организация работ;

• обслуживание;

• обучение;

• планирование, координация и управление;

• условия эксплуатации.

Выполнение только первого раздела дает аттестацию Management and Operations (M&O), проводимую Uptime Institute. Второй и третий разделы требуются для прохождения полноценной сертификации Operational Sustainability («Эксплуатационная устойчивость») как завершающей части еще двух сертификаций: Design Documentation («Проектная документация») и Constructed Facility («Построенный объект»).

Второй раздел стандарта – Building Characteristics – также содержит требования к приемо-сдаточным испытаниям оборудования, что является неочевидным с точки зрения регламентирования этого требования. Наличие раздела Site Location также вызывает вопросы, так как на этапе оценки эксплуатационной устойчивости уже поздно оценивать само здание, хотя и можно учесть существующие риски природного, техногенного и антропогенного характера.

В данном стандарте не рассматриваются вопросы безопасности труда, пожарной защиты и физической безопасности.

Причина отсутствия регламента пожарных систем и безопасности труда у Uptime Institute достаточно логична – слишком много внутренних регуляторных документов внутри каждой страны для создания единого стандарта. По физической безопасности, вероятно, и так есть значительное количество других, профильных регламентирующих стандартов.

Можно утверждать, что при выполнении требований первой части стандарта (Management & Operations) в полном объеме бóльшая часть документов, описанных в этой книге, будет у вас готова в той или иной степени автоматически.

Следует также отметить, что стандарт описан достаточно общими понятиями, и это затрудняет его внедрение без специальной подготовки и консультаций, получения примеров и наработок из внешних источников.

Это группа стандартов от СENELEC[7] – Европейского комитета электротехнической стандартизации. EN в наименовании стандарта обозначает Europäische Normung (нем. «европейские нормы»). Тексты стандартов EN50600 рассматривают различные аспекты построения и эксплуатации ЦОД; непосредственно к эксплуатации в EN50600 относится часть 3–1, называемая Management and Operational Information.

Помимо вопросов, связанных с организацией эксплуатации и общих с предыдущим стандартом, в EN50600–3–1 немалое внимание уделено вопросам построения инфраструктуры, а значительная часть стандарта посвящена оценкам энергоэффективности (в соответствии с «зеленой» европейской повесткой) и содержит много информации по расчетам различных видов энергоэффективности, из которых нам традиционно знаком только PUE (Power Usage Effectiveness). В этом же стандарте мы можем увидеть расчеты не только PUE или WUE (Water Usage Effectiveness[8]), но и экзотические для нас REF (Renewable Energy Factor[9]) или CUE (Carbon Usage Effectiveness[10]).

В отличие от Uptime Institute, этот стандарт достаточно подробно рассматривает системы физической безопасности и организацию противопожарных систем.

В целом документ можно иметь под рукой как дополнительный чек-лист для самопроверки при подготовке эксплуатации ЦОД, так как здесь отражено то, что должно быть сделано, но не даются ответы на вопрос «как?».