В условиях современной экономики одним из наиболее важных условий успешного ведения дел становится способность компании оперативно, качественно и результативно обрабатывать информацию. Не будет преувеличением сказать, что современный бизнес вообще основан на информации, а стало быть, в нем огромную роль играют информационные технологии. Важнейшую часть ИТ-инфраструктуры современных предприятий составляют серверы, системы хранения данных и телекоммуникационное оборудование, сконцентрированные в специализированных центрах обработки данных (ЦОД). Большинство таких вычислительных центров создается для решения следующих задач:

  • централизации ИТ-инфраструктуры, концентрации систем обработки информации в одном месте, что должно сократить расходы на ее поддержание и сопровождение;
  • унификации ИТ-инфраструктуры с использованием однотипного оборудования для решения сходных задач, что способствует ее упрощению и улучшению интеграции отдельных подсистем в единое целое;
  • консолидации данных, т. е. хранения разнотипных данных на единой платформе с целью повышения их доступности и надежности хранения;
  • консолидации приложений или объединения систем, выполняющих одни и те же задачи, с тем чтобы лучше утилизировать имеющиеся мощности и снизить затраты на модернизацию и наращивание производительности.

За последние несколько лет центры обработки данных претерпели ряд кардинальных изменений, в значительной мере повлиявших на архитектуру и принципы их организации. В первую очередь эти изменения были обусловлены стремительным ростом общей производительности систем обработки данных и вычислительной мощности их отдельных компонентов. Появление многоядерных процессоров, распространение блейд-серверов и технологий виртуализации, стандартизация конфигураций стоечного оборудования также внесли существенный вклад в преображение вычислительных центров — плотность размещения оборудования в стойках возросла многократно. Немалую роль в реорганизации архитектуры ЦОД сыграл и рост популярности концепции предоставления вычислительных ресурсов «по требованию» — появились вычислительные центры со сверхплотным размещением серверов в стойках.

Наряду с положительными моментами эти изменения обозначили и ряд существенных проблем, характерных для новых центров обработки данных: задачи, связанные с энергообеспечением ЦОД и кондиционированием его помещений, предельно осложнились. Одна из основных проблем дата-центров с высокой плотностью размещения систем (например, блейд-серверов) заключается в том, что подобное оборудование выделяет гораздо больше тепла на единицу площади по сравнению с традиционными стоечными решениями. Если ранее тепловая нагрузка вычислительного центра составляла в среднем 1—2 кВт на квадратный метр, сегодня стойка с шестью блейд-серверами выделяет 24 кВт на 0,7 м2, и, по прогнозам аналитиков, ожидается сохранение тенденции к росту удельного тепловыделения компьютеров. Эффективный отвод тепла в таких случаях становится ключевой проблемой, от разрешения которой напрямую зависит производительность и надежность современного вычислительного центра.

Таким образом, задача обеспечения непрерывной работы вычислительного центра на определенном уровне производительности, т. е. постоянное поддержание ИТ-инфраструктуры предприятия в состоянии, гарантирующем непрерывное ведение дел, оказалась прочно завязана на инженерную инфраструктуру помещения, в котором расположен ЦОД.

Системы охлаждения

Очевидно, что старые системы не в состоянии справиться с отводом огромного количества выделяемого тепла. Тепловая картина вычислительного центра с высокой плотностью размещения серверов при эксплуатации классической напольной системы охлаждения показывает, что последняя не обеспечивает достаточного охлаждения серверов в верхних отсеках стоек. Это неизбежно сказывается на их производительности и надежности, и более того — на производительности и надежности всего вычислительного центра. Для эксплуатации современных вычислительных центров с высокой плотностью размещения оборудования нужны высокопроизводительные системы охлаждения, способные обеспечить эффективный отвод тепла и, соответственно, постоянную работоспособность серверов.

В рамках традиционных подходов к построению систем кондиционирования ЦОД, пройдя несколько этапов эволюции, сформировались следующие пути решения проблемы.

Одиночные изолированные системы охлаждения. Такой подход достаточно прост и в определенной мере надежен, поскольку отказ одной системы никак не повлияет на остальные, однако он не обеспечивает инфраструктуре ЦОД ни гибкости, ни масштабируемости.

Модульная система охлаждения, состоящая из однотипных стандартизованных элементов с фиксированными размерами и функциональностью, работающих в рамках единого решения. Этот путь значительно сокращает первоначальные затраты на развертывание, к тому же он способен обеспечить избыточность охлаждающего воздействия, что придает инфраструктуре ЦОД дополнительную надежность. Однако однотипность модулей такой системы может обернуться и против нее — в одних случаях мощности типового модуля может оказаться недостаточно, что вызовет перегрев оборудования, а в других ее будет с избытком, что приведет лишь к трате ресурсов впустую.

Единая масштабируемая система охлаждения, охватывающая все пространство ЦОД. Такая система в принципе способна преодолеть ограничения предыдущих решений, ее мощность гибко наращивается в соответствии с ростом тепловыделения используемых систем. Однако существенный недостаток такой системы состоит в том, что ее масштабирование возможно только в одном направлении и для всей инфраструктуры сразу — желая увеличить мощность охлаждения для каких-то определенных систем, заказчик будет вынужден смириться с тем, что она увеличится и там, где это вовсе не нужно, а стало быть, возрастут и расходы на содержание ЦОД.

Принципов модульности и масштабируемости, хорошо работавших при линейном наращивании мощности вычислительных центров, оказалось недостаточно для решения новых задач, возникших в результате бурного развития ИТ и эволюции архитектуры ЦОД. Прежнее правило линейного наращивания мощности потеряло актуальность с появлением таких систем, как блейд-серверы и кластеры, которые существенно повысили скорость обработки данных и снизили общую стоимость владения вычислительными центрами за счет сокращения занимаемых площадей и оптимизации систем управления и контроля работоспособности. Несостоятельность старых способов решения проблемы кондиционирования ЦОД еще больше обострила проблему в новых условиях — теперь необходимо найти решение, которое эффективно обеспечивало бы непрерывность работы с данными путем постоянного наращивания мощностей вычислительных центров, но в то же время гарантировало, что условия эксплуатации оборудования не ухудшатся и стоимость владения им не повысится.

Адаптивная архитектура охлаждения и электропитания

Чтобы преодолеть накопившиеся противоречия и устранить концептуальные проблемы, свойственные уже известным на рынке решениям, компания Emerson Network Power (http://www.emersonnetworkpower.ru) предложила открытую архитектуру кондиционирования и энергоснабжения ЦОД, включающую в себя все компоненты, необходимые для поддержания высокой производительности, постоянной готовности и низкой стоимости обслуживания современных вычислительных центров, и основанную на концепции адаптивности. Новая платформа ориентирована прежде всего на обеспечение непрерывной работоспособности вычислительных центров.

Адаптивная архитектура охлаждения и электропитания компании Emerson базируется на двух основных постулатах: надежность и гибкость. Она обеспечивает надежное кондиционирование центра обработки данных в целом, вне зависимости от работоспособности отдельных модулей, и при этом позволяет варьировать мощность воздействия, плотность размещения модулей и способ их размещения. Такой подход гарантирует снижение общих расходов на содержание инфраструктуры ЦОД и хорошо отвечает потребностям современных компаний. Главное достоинство архитектуры охлаждения и электропитания Emerson состоит в том, что она позволяет плавно наращивать инфраструктуру по мере развития бизнеса.

Концептуально адаптивная архитектура состоит из трех иерархических уровней: базового, дополнительного охлаждения, охлаждения в замкнутом цикле. Первый уровень (рис. 1) подразумевает традиционное охлаждение через фальш-пол и отвечает всем перечисленным выше требованиям при тепловыделении до 5 кВт на стойку. Второй (рис. 2) реализуется за счет дополнительных модулей охлаждения, точечно устанавливаемых по мере необходимости в соответствующих местах ЦОД, и применяется при уровне тепловыделения до 16 кВт на стойку. Последний уровень, предполагающий тепловыделение до 24 кВт на стойку (оборудование с исключительно высоким тепловыделением), использует специальную технологию охлаждения внутри стойки, целиком отделяя стойки со сверхвысоким тепловыделением от остального пространства ЦОД.

Рис. 1. Первый уровень архитектуры охлаждения и электропитания Emerson — охлаждение через фальш-пол.

Рис. 2. Второй уровень — дополнительные точечные модули охлаждения.

Решения Liebert X-treme

На базе своей адаптивной архитектуры Emerson разработала набор решений и услуг для обеспечения бесперебойного электропитания, кондиционирования и контроля работоспособности оборудования, получивший название Liebert X-treme. Эти решения относятся ко второму и третьему уровню адаптивной архитектуры кондиционирования Emerson; в них входят два класса систем — Liebert XD и Liebert XDFN, что дает дополнительную гибкость при выборе оборудования.

Решения класса Liebert XDFN (рис. 3) обеспечивают охлаждение отдельных стоек с высоким тепловыделением (до 24 кВт максимум) в режиме замкнутого цикла, полностью изолируя их от остального пространства. Такие системы могут быть востребованы в небольших центрах обработки данных, а также как дополнение к уже существующей системе охлаждения, не изменяющее инфраструктуру ЦОД. Они характеризуются полным отсутствием шума и тепловыделения и могут быть установлены в любом помещении, поскольку не требуют фальш-пола для монтажа. Дополнительные преимущества решений этого класса — полное резервирование каждого блока XDFN по схеме N+1 с помощью одного дополнительного охлаждающего модуля и система вспомогательной вентиляции, обеспечивающая защиту данных на время, необходимое для запуска генератора или переустановки источника питания.

Рис. 3. Система Liebert XDFN предназначена для охлаждения отдельных стоек с высоким тепловыделением.

Системы класса Liebert XD, мощностью от 5 до 15 кВт на стойку, обеспечивают адаптивное охлаждение оборудования на всей площади ЦОД, но только там, где это нужно, и тогда, когда нужно. Эти системы позволяют обойтись без перестройки всей инфраструктуры охлаждения при увеличении тепловой нагрузки вычислительных центров. Они также дают возможность плавно наращивать мощность вычислительных центров, не увеличивая общую стоимость владения ими и не снижая производительность и надежность.

Серия Liebert XD — целое семейство модулей, предназначенных для точечного охлаждения конкретных участков машинного зала, когда это требуется. В качестве хладоносителя в них используется фреон; один гидромодуль XDC или несколько гидромодулей XDP (рис. 4) перекачивают его по проложенным под потолком трубам. Это позволяет обойтись в вычислительном центре без воды, соответственно исключая риск затопления и повреждения оборудования. Охлаждающие модули XDV, монтируемые непосредственно на стойке, или модули XDO, монтируемые на потолке (рис. 5), за счет специально сконструированных разъемов устанавливаются без помощи инструментов, что позволяет организовать точечное охлаждение отдельных участков ЦОД или всей площади вычислительного центра.

Рис. 4. Гидромодуль Liebert XDP для точечного охлаждения участков машинного зала.

Рис. 5. Дополнительные охлаждающие модули XDV (слева) монтируются непосредственно на стойке, а модули XDO (справа) — на потолке.

Системы контроля работоспособности, услуги ввода в эксплуатацию и обслуживания, предоставляемые компанией Emerson по всему миру, дополняют решения Liebert X-treme и делают адаптивную архитектуру подходящим решением для вычислительных центров любого масштаба.

В качестве резюме остается лишь перечислить основные преимущества решений Liebert X-treme.

  • Адаптивность — архитектура подходит для вычислительных центров любого масштаба, включая комплексные центры обработки данных.
  • Стандартные платформы — интегрированные решения можно приобрести по весьма привлекательной цене.
  • Расширяемость и высокий коэффициент готовности — при расширении инфраструктуры не требуется заменять оборудование, установленное ранее.
  • Мощность, достаточная для оборудования с высокой плотностью размещения, — решения Liebert X-treme способны справиться с экспоненциальным ростом тепловой нагрузки в вычислительных центрах с высокой плотностью размещения серверов.
  • Модульные и расширяемые платформы — применяются стандартные технологии и взаимозаменяемые компоненты.
  • Возможность изменения конфигурации на месте — значительно снижает стоимость изменения конфигурации инфраструктуры.
  • Технологии управления системами — современное оборудование сможет взаимодействовать с моделями, которые будут разработаны в будущем.
  • Оптимизация размещения стоек и конфигурации вычислительного центра — гибкость и расширяемость решений Liebert X-treme дает администраторам возможность оптимизировать использование площадей вычислительного центра и тем самым значительно снизить общую стоимость владения информационной инфраструктурой.