Отказ от использования локальных устройств бесперебойного электропитания в пользу централизованных ИБП
Пожарные и охранные системы традиционно имеют свои блоки питания с небольшими батареями, а для рабочих мест операторов зачастую используются локальные ИБП. Таких элементов может быть очень много, и они распределены по всей территории ЦОД, доставляя службе эксплуатации массу хлопот как при проведении ТО батарей, так и при устранении аварий. Чтобы избежать этих сложностей, достаточно подключить блоки питания к системе бесперебойного электроснабжения ЦОД, тем самым избавившись от сотен точек обслуживания и потенциальных отказов. Стоит заметить, что в данном случае возникает риск отключения подключенных систем при пропадании питания от ИБП; для минимизации этого риска можно подключать щиты пожарной сигнализации и охранных систем к двум независимым линиям ИБП.
Удобство обслуживания и эксплуатации оборудования
От качественного выбора оборудования зависят простота и удобство монтажных работ и дальнейшая эксплуатация этого оборудования. К данному вопросу надо подходить очень осторожно.
Например, в некоторых моделях модульных ИБП известных брендов внутренняя компоновка элементов выполнена таким образом, что во время эксплуатации при переключениях оборудования приходится нагибаться практически до самого пола, чтобы отключить или включить вводной автомат.
Аналогично и с силовыми модулями. Вот еще пример: при компоновке силовых модулей в верхней части ИБП замена верхних модулей становится невозможной силами дежурной смены. Ведь модуль надо будет поднять на уровень выше 2 м при массе до 50 кг. Во-первых, это неудобно, а во-вторых, один работник просто не сможет этого сделать. К тому же центр тяжести такого оборудования будет расположен высоко, что скажется на устойчивости оборудования.
А если в одиночку силовой модуль не заменить, значит, такие модульные ИБП теряют часть своих преимуществ.
Помимо качественного выбора оборудования, хотелось бы сказать о его однотипности. К такому оборудованию можно отнести, например, ИБП, аккумуляторы, кондиционеры и т. д. Использование однотипного оборудования способно во многом облегчить жизнь службе эксплуатации: это и взаимозаменяемость узлов и компонентов, и сокращение расходов на проведение ТО, уменьшение склада ЗИП, упрощение повседневных манипуляций, уменьшение количества необходимых инструкций и сопутствующей документации. Однако у применения однотипного оборудования существует и обратная сторона, которая потенциально может повышать риски для ЦОД. Прежде всего это проблемы, возникающие при прекращении производства и поддержки вендором того или иного оборудования. В такой ситуации придется заменить весь парк используемого однотипного оборудования; серьезной проблемой может стать необходимость получения запчастей и расходных материалов. Кроме того, период пандемии 2020–2021 гг. и в особенности внешнеполитические события 2022 г., повлекшие разрушение цепочек поставок оборудования, продемонстрировали рациональные стороны использования разнородного оборудования для тех или иных задач. Довольно любопытной в этом контексте является рекомендация стандарта ANSI/BICSI-002–2019 по использованию в ЦОД (по крайней мере высокого уровня готовности) именно разнородного оборудования различных производителей. Несмотря на усложнение процессов обслуживания и эксплуатации, это позволяет застраховаться от рисков, вызываемых применением однородного оборудования.
Какую из этих стратегий выбрать – решать вам. Мы в свое время остановились на использовании однотипного оборудования, но с полным осознанием возможных рисков такой стратегии.
Резервирование систем
При проектировании, построении и дальнейшей эксплуатации ЦОД очень важную роль играет резервирование оборудования. Резервирование является ключевым фактором в обеспечении надежности систем и дает возможность непрерывной эксплуатации ЦОД при проведении необходимых работ по техническому обслуживанию оборудования. Поскольку мы будем часто обращаться к этому понятию по мере изложения, давайте рассмотрим подробнее, что такое резервирование и каковы те схемы резервирования, которые применяются при построении инженерных систем.
ГОСТ Р 27.102–2021 «Надежность в технике. Надежность объекта. Термины и определения» формулирует термин «резервирование» как «способ обеспечения надежности объекта за счет использования дополнительных средств и/или возможностей сверх минимально необходимых для выполнения требуемых функций». Как следует из определения, резервирование предполагает избыточность компонентов системы, позволяющую использовать эти избыточные компоненты при отказе какого-либо базового компонента без прерывания работы системы в целом. Таким образом, базовая модель резервирования может описываться формулой N + R, где N[30] обозначает число элементов, необходимых для нормальной работы, а R[31] – число дополнительных избыточных компонентов. Такое резервирование часто называют резервированием на уровне компонентов. Простейшей и наиболее распространенной схемой резервирования[32] является N + 1, однако встречаются варианты N + 2 или с большим числом элементов R.
Несмотря на очевидную простоту и эффективность резервирования по схеме N + R, ее не всегда бывает достаточно для обеспечения необходимого уровня надежности. Существуют системы, где, несмотря на избыточность отдельных компонентов, сохраняются единые точки отказа, являющиеся уязвимым местом системы в целом. В качестве примера можно привести систему бесперебойного электропитания из нескольких ИБП с общим байпасом. Для устранения рисков выхода таких систем из строя применяют резервирование более высокого уровня – не на уровне компонентов, а на уровне систем. На практике это означает установку двух (или более) идентичных взаиморезервирующих систем, а само резервирование в таком случае обозначают формулой ХN, где N – система из N компонентов, а Х – число таких систем. Наиболее частой схемой резервирования такого рода является 2N, где устанавливаются две идентичные системы. Такая схема резервирования является сравнительно дорогой (фактически необходимо приобрести удвоенное количество оборудования), однако именно она позволяет обеспечить для ИТ-нагрузки два независимых ввода питания и/или контура охлаждения, что необходимо для безостановочной работы ИТ-оборудования и, следовательно, непрерывной работы сервисов, предоставляемых ЦОД.
Зачастую используется комбинация двух оговоренных выше схем резервирования – и на уровне систем, и на уровне компонентов. В этом случае формула приобретает вид X(N + R). Сравнительно популярной схемой такого рода является 2(N + 1), широко применявшаяся в первом десятилетии XXI в.; сегодня ее можно встретить все реже, что обусловлено высокой стоимостью ее реализации.
Выше мы отметили, что резервирование XN (обычно 2N) позволяет обеспечить для нагрузки независимые линии электропитания. Данное преимущество имеет обратную сторону в виде удвоенной стоимости системы электропитания. Для сохранения возможности обеспечения двух независимых линий электропитания нагрузки и при этом снижения вложений в систему электропитания в последние годы все чаще используются дробные схемы резервирования, которые можно выразить в формате (X/Y)N. В этом случае X означает число установленных элементов в системе, а Y – число групп нагрузок, подключенных к каждому из элементов. Иными словами, суть построения таких систем заключается в сегментировании нагрузки и применении элементов меньшей мощности, нежели в случае резервирования 2N. Поясним это на примере систем ИБП на схемах ниже.
Отношение мощности ИБП к мощности нагрузки можно понимать как коэффициент загрузки оборудования. Чем меньше это соотношение, тем эффективнее загрузка. То есть при резервировании 2N загрузка оборудования составляет 50 %, при резервировании (3/2)N – 66,7 %, а при резервировании (4/3)N – 75 %.
