Андрей Борзенко

Новая архитектура сверхкомпактных, или модульных серверов (их еще называют серверами-лезвиями) обещает решить многие проблемы современных центров обработки и хранения данных, вызванные дефицитом производственных площадей. Подобные серверы действительно способны повысить плотность размещения оборудования в стойках. Кроме того, они характеризуются лучшей управляемостью, меньшим энергопотреблением, более удобны в обслуживании, более просты в развертывании, что в итоге приводит к снижению совокупной стоимости владения (TCO). И хотя первое воплощение серверных модулей в большей степени ориентировано на внешнюю (клиентскую) часть ИТ-инфраструктуры, новая архитектура, скорее всего, будет развиваться и в других направлениях, играя важную роль на всех уровнях инфраструктуры центров данных. Согласно последним прогнозам отраслевой аналитической компании IDC, касающимся развития рынка серверов, объем продаж модульных серверов вырастет с 50 млн долл. в 2002 г. до 3,7 млрд долл. к 2006 г.

Надо сказать, что поначалу администраторы и ИТ-персонал центров данных сопротивлялись проникновению компактных серверов в вычислительную среду, которая все дальше уходит от монолитных, специализированных архитектур в сторону более экономически выгодных стандартизованных серверов. Дело в том, что до недавнего времени производители, значительно увеличивая объемы выпуска компактных серверов, в основном уделяли внимание повышению плотности размещения этого оборудования в приборной стойке, а не таким факторам, как удобство их развертывания и обслуживания, снижение стоимости и облегчение управления.

По мнению большинства экспертов, модульные серверы - это новая архитектура компьютеров следующего поколения, которая повлияет на сам подход изготовителей оборудования к проектированию стандартных устройств.

Основные особенности "лезвий"

Вероятно, поставщики предложат множество различных реализаций подобных устройств, но по существу речь идет попросту о сервере, собранном на одной плате (рис. 1). Такая общая объединительная плата фактически содержит всю компьютерную систему, включая процессоры, память, сетевые соединения и иные электронные схемы. Первоначально большинство серверных модулей будут включать какое-то количество локальных дисковых накопителей с возможностью доступа к внешним носителям информации.

Fig.1 Рис. 1. Модульный сервер ProLiant BL.

Каждый модуль работает под управлением своей собственной копии ОС, следовательно, администраторы могут распределять модули между различными задачами или пользователями. Серверы этого класса можно вставлять или удалять в горячем режиме, это никак не влияет на работу соседних модулей. "Лезвия" вставляются в соединительную плату шасси или корпуса, который предоставляет такие совместно используемые и резервированные ресурсы, как блоки питания, вентиляторы, сетевое оборудование и кабели.

Возникает вопрос, в чем же причины успеха сверхкомпактных серверов? Дело в том, что решения, основанные на системах этого класса, позволяют заказчикам повысить эффективность работы центра данных и снизить совокупную стоимость владения. Рассмотрим основные факторы повышения эффективности работы центра данных при использовании модульных серверов.

Факторы повышения эффективности

Снижение стоимости аппаратного обеспечения

Модульные серверы относительно дешевы, поскольку, в отличие от традиционных, в них не используются индивидуальные шасси и собственная инфраструктура. Совместное использование систем питания, охлаждения, управления и кабелей несколькими серверами позволяет значительно снизить их стоимость в расчете на один сервер.

Благодаря этой архитектуре поставщики серверного оборудования могут интегрировать в конструкции компоненты, которые ранее пользователи должны были приобретать отдельно, - это относится к платам удаленного управления, коммутаторам Ethernet и даже адаптерам KVM (Keyboard, Video, Mouse - клавиатура, видеоплата и мышь), что и обеспечивает значительное снижение стоимости аппаратного обеспечения. Кроме того, совместное использование высококачественных компонентов несколькими серверами повышает надежность, поскольку при таком подходе уменьшается число компонентов и, следовательно, вероятность их отказа. Первоначальные затраты на разработку шасси достаточно высоки, поэтому модульные серверы больше всего подходят для центров данных с высокой концентрацией оборудования на единицу площади, а не для создания системы из нескольких удаленных друг от друга вычислительных центров с малым числом серверов в каждом.

Упрощение развертывания и обслуживания

Развертывание нескольких серверов традиционного типа может быть весьма трудоемкой задачей, требующей больших ресурсов. Администратор устанавливает каждый сервер в стойку, подключает сетевые и силовые кабели, устанавливает на машины программное обеспечение. В среде с высокой плотностью размещения оборудования одна из основных проблем при монтаже - это прокладка кабелей.

Используя сверхкомпактные серверы, администратор устанавливает и подключает только шасси, поскольку индивидуальное модульное оборудование, как правило, не требует подключения кабелей (рис. 2). Добавление вычислительных ресурсов в этом случае сводится просто к добавлению новой платы. Наличие общего шасси минимизирует сложность прокладки кабелей, поскольку резервные блоки питания одновременно обслуживают несколько модулей. Кроме того, встроенные коммутаторы консолидируют управление сетями Ethernet и даже соединениями KVM.

Fig.2
Рис. 2. Консолидация кабельной разводки.

Средства автоматизированной установки ПО позволяют администраторам через сеть быстро и просто развертывать программные средства на одном или многих серверных модулях одновременно. Изготовитель при этом поставляет заказчикам полные комплекты средств для удаленной установки ПО, конфигурирования аппаратного обеспечения и управления системой. Этот инструментарий позволит заказчикам управлять модульными и традиционными интегрированными серверами из единой структуры, что снижает издержки.

Как уже отмечалось, обслуживание отказавшего модуля сводится к замене его на исправный. Администратор также может легко создать глобальный резервный сервер горячей замены, который путем дистанционного управления может воспринимать все атрибуты и задачи модульного сервера, нуждающегося в обслуживании или ремонте.

Оптимизация пространства в центрах данных

Поскольку недвижимость, необходимая для размещения центров данных, весьма дорога, за последние пару лет все более широко применяются оптимизированные по плотности серверные стойки (рис. 3). В сравнении с сегодняшними серверами высотой 1U (1U = 4,445 см), оптимизированными в рамках стоечных конструкций, модульные серверы могут повысить плотность размещения оборудования на 100-800% в зависимости от используемой конструкции. Кроме того, поскольку каждый модуль представляет собой самостоятельный сервер, шасси позволяет объединить выполнение нескольких приложений в пределах единого корпуса.

Fig.3 Рис. 3. Стойка модульных серверов ProLiant BL.

Повышение эффективности использования ресурсов

Руководители центров данных должны оценить потребности каждого клиента (будь то собственное подразделение или внешний заказчик) и позаботиться об объемах выделяемых им ресурсов общей инфраструктуры, обеспечивающих работу в условиях пиковой загрузки мощностей. Значительная часть оборудования нередко остается недоиспользованной, потребляя при этом энергию, выделяя тепло и расходуя средства, административные ресурсы, мощность и пространство.

Переход к архитектуре модульных серверов и использование связанных с ними улучшений в ПО управления нагрузкой позволяет менеджерам рассчитать размеры инфраструктуры по пиковой нагрузке не для индивидуальных клиентов или группы, но по потребностям всего центра данных как целого. Эта задача обычно решается с помощью ПО управления, а благодаря низкой стоимости модульных серверов и их способности упростить масштабирование вычислительных ресурсов эффективность работы ПО повышается.

Уменьшение энергопотребления

Для снижения потребления модульных серверов производители стараются использовать процессоры с низким потреблением энергии. Но даже при использовании обычных процессоров модульные серверы будут потреблять меньше, чем обычные серверы, поскольку в них используется меньшее число энергоемких компонентов. Кроме того, в системах с "лезвиями" повышается эффективность источников питания, поскольку эти блоки обслуживают большое число серверов. Сверхкомпактные серверы, потребляющие меньше энергии, выделяют к тому же меньше тепла, что, в свою очередь, снижает потребность в энергии для охлаждения систем.

Сопутствующие проблемы

Миниатюризация и повышение плотности серверов предъявляют высокие требования к системам хранения данных, управлению серверами, стандартизации и разрешению коллизий сервер-сеть.

Одна из привлекательных сторон модульных серверов - их способность обеспечивать расширение доступной емкости хранения. Хотя первые модульные серверы будут иметь встроенные диски, количество их в общем случае ограничено. Это ограничение не создает особых проблем в приложениях первого и второго уровня ИТ-инфраструктуры, которые обычно не предъявляют высоких требований к системе хранения. Приложения, требовательные к объему дисковой памяти, обслуживаются, как правило, тыловыми серверами (back-end servers).

Расширять дисковую систему сверхкомпактных серверов непросто, поскольку их архитектура чаще всего не имеет традиционных гнезд расширения для периферийных компонентов (разъемы PCI). Кроме того, модули могут не обладать несколькими внешними интерфейсами и разъемами, обеспечивающими стыковку с внешними устройствами и разъемами. Из-за этого выбор технологии для связи с системами хранения ограничивается стандартами Ethernet и Fibre Channel.

Вероятно, именно Ethernet будет отдано предпочтение в модульных серверах высокой плотности, относящихся к первому поколению, - этим модулям требуются соединения Ethernet для доступа к ЛВС или глобальной сети (WAN). Благодаря рентабельности и широкому распространению Ethernet это решение представляется оптимальным для связи серверных модулей с системой хранения. Используя Ethernet, "лезвия" могут соединяться с системами NAS (устройства хранения данных, подключаемые к сети) и IP Storage (устройства хранения данных, использующие протокол IP). Развивающиеся технологии iSCSI (Internet SCSI) позволяют обеспечить эффективный доступ к ресурсам дисковых систем через Ethernet. Соединения через Fibre Channel, скорее всего, будут использоваться в модульных продуктах менее высокой плотности и более высокой производительности.

Еще одна проблема связана с потребностью в надежных средствах управления. Центры данных уже давно страдают от чрезмерного многообразия типов оборудования; модульные серверы могут лишь обострить эту проблему. Судьба сверхкомпактных серверов на рынке будет успешной, если производители смогут предложить надежные инструменты, поддерживающие как стандартные интерфейсы управления, так и удаленные операции доступа, автоматической установки ПО и конфигурирования оборудования. Руководители центров данных при планировании своей инфраструктуры должны предусмотреть эти новые инструменты, чтобы в полной мере воспользоваться возможностями новой архитектуры.

Различные аппаратные стандарты

В настоящее время есть только один стандарт, определяющий конструктивные характеристики и разъемы модульных серверов, - CompactPCI (cPCI). Модули и корпуса, построенные в соответствии с этим стандартом, могут работать в стандартном корпусе cPCI, даже если они изготовлены разными производителями. Такая совместимость обеспечивает некоторую степень защиты инвестиций для заказчиков, хотя обслуживание и поддержка серверных модулей от нескольких производителей могут привести к дополнительным затратам.

Однако эксперты полагают, что в настоящее время архитектурные особенности cPCI не всегда подходят для высокопроизводительной и недорогой среды серверного оборудования высокой плотности. Выпускаемые модули cPCI в основном предназначены для рынка телекоммуникаций и промышленных применений, а не для традиционных вычислительных центров; таким образом, доступ к "экосистеме" модулей различных производителей не обеспечивает особых преимуществ для большинства заказчиков из центров данных.

Фирмы-производители модульных серверов, не использующие стандарт cPCI, строят свои решения на стандартизованных наборах микросхем, контроллерах и процессорах, а также таких стандартных протоколах, как Ethernet и SNMP/CIM (Simple Network Management Protocol/Common Information Model). Очевидно, что при этом различные реализации будут различаться разъемами и разводкой сигналов. И хотя заказчики не смогут использовать модули разных фирм-производителей в одном корпусе, они в ряде случаев выиграют, сделав подобный выбор. Дело в том, что такой подход позволяет изготовителям разрабатывать продукты, которые обеспечивают больше возможностей при меньшей стоимости, занимая при этом меньше места в стойке, чем продукты на базе cPCI. В системах, которые не используют модули cPCI, серверные модули будут взаимодействовать как друг с другом, так и с "интегрированными " серверами привычным образом, работать под управлением стандартных ОС и управляться при помощи стандартных средств управления.

Точка коллизии сервер - сеть

В среде оборудования высокой плотности размещения кабели Ethernet, подключаемые к каждому серверному модулю, создают множество проблем, поэтому производители, скорее всего, будут встраивать коммутаторы Ethernet в сам корпус. Если коммутатор используется как точка кабельной консолидации, то из него выходит всего один Ethernet-кабель. Хотя такое объединение весьма элегантным образом упрощает кабельную разводку, оно заставит администраторов изменить свои стереотипы в отношении развертывания серверов. Сетевые администраторы и администраторы серверов должны будут работать в тесном сотрудничестве как на этапе развертывания систем, так и при управлении комбинацией сервер - сеть. Производители должны будут предоставить инструментарий для управления этими Ethernet-коммутаторами.

Сверхкомпактные серверы в будущем

Новая архитектура ввода-вывода InfiniBand может стать определяющей для сегмента серверных модулей - она обеспечивает универсальные возможности соединений, что становится идеальным решением, когда из-за ограничений по площади невозможно использовать разнородные сетевые средства, скажем, Ethernet, Fibre Channel/SCSI и IPC (InterProcess Communication). Архитектура InfiniBand обеспечивает следующие преимущества для модульных серверов:

  • возможность установить высокопроизводительное соединение с низкой латентностью между серверными модулями, удовлетворяющее требованиям к высокопроизводительной вычислительной среде и кластерам баз данных;
  • возможность соединения с внешними системами хранения данных и сетями Ethernet через шлюзы InfiniBand-to-Fibre или InfiniBand-to-Ethernet, иначе называемые пограничными маршрутизаторами (edge routers). При этом не нужно заменять кабели в центре данных;
  • совместное использование унаследованных периферийных устройств для шины PCI несколькими серверными модулями или даже корпусами, возможность соединения с внешними PCI-модулями расширения. Такой подход не только экономит занимаемое оборудованием место, но и позволяет заказчикам распределить устройства между несколькими серверами;
  • средства, позволяющие серверам непосредственно, без изменения протоколов, подключаться к системам хранения данных.

Соединения InfiniBand и новые средства управления могут обеспечить фундамент для новых моделей центров данных, где администраторы располагают пулом вычислительных ресурсов и накопителей, которые они могут выделять динамически, по мере надобности.

Новая ИТ-инфраструктура

Первые версии сверхкомпактных серверов - это в основном системы высокой плотности и низкого энергопотребления при относительно невысокой производительности. Этот тип модульных серверов позволяет легко и с небольшими затратами выравнивать нагрузку и соответственно подходит для таких приложений, как статические Web-серверы, обеспечение безопасности, сетевые сервисы и работа с потоковыми мультимедийными данными. Здесь эффективность работы приложения зависит от совокупных характеристик системы, а не от производительности отдельных серверов.

Повышение производительности и уменьшение плотности дизайна серверных модулей будут способствовать распространению модульных серверов на рынок корпоративных центров данных, где работают приложения широкого применения. Более производительные "лезвия" обеспечат быстродействие и возможности, характерные для современных традиционных серверов высокой плотности, но при меньшей стоимости, меньших размерах и большей простоте развертывания и обслуживания. Они прекрасно подойдут для высокопроизводительных Web-серверов, выделенных серверов приложений, вычислительных сред на основе серверов и "тонких" клиентов, а также высокопроизводительных кластеров. Внедрение модульных серверов и связанных с ними технологий, таких, как InfiniBand, станет преддверием к переходу к новой ИТ-инфраструктуре.

Предложения Hewlett-Packard

Еще весной 2002 г. обновленная корпорация Hewlett-Packard представила объединенное семейство сверхкомпактных серверов. Объединенная номенклатура включает линейки одноплатных серверов HP Server BH и HP ProLiant BL.

По оценкам экспертов, имея две линейки модульных серверов, оптимизированных для применения как в корпоративных вычислительных центрах, так и в системах телекоммуникационных компаний и поставщиков услуг, Hewlett-Packard может теперь предложить всеобъемлющий и самый мощный в мире портфель продуктов, технологий, программных средств администрирования, инструментов, услуг и партнерских отношений в данной области. Покупатель получает более широкий выбор решений, весьма привлекательных с точки зрения функциональности, оптимизации процедур развертывания и поддержки стандартов. Семейство, включающее продуктовые линейки HP Server BH и HP ProLiant BL, базируется на ряде стандартных базовых технологий, включая следующие:

  • технологии компьютерных сетей (Ethernet, iSCSI и Fibre Channel);
  • технологии виртуального присутствия и управления (HP OpenView, встроенные средства дистанционного администрирования и управления Lights Out, функции визуализации одноплатных серверов и технологии динамического подключения клиентов к сервисам);
  • масштабируемые вычислительные технологии - микропроцессорные архитектуры IA-32, Itanium Processor Family (IA-64) и PA-RISC.

Линейка сверхплотных серверов HP Server BH разрабатывалась специально с учетом потребностей телекоммуникационных компаний и поставщиков электронных услуг. Архитектура этой платформы использует преимущества стандартов телекоммуникационной и сетевой отраслей, например, CompactPCI (cPCI) и NEBS, ориентированных на требования наиболее ответственных приложений (см. "Cерверы-"лезвия" Hewlett-Packard", BYTE/Россия №5'2002).

Унаследованная от корпорации Compaq линейка сверхкомпактных серверов HP ProLiant BL рассчитана на применение в корпоративных вычислительных центрах и системах поставщиков электронных услуг для исполнения многоуровневых приложений, масштабируемых путем использования дополнительных серверов, а также для построения кластеров и работы с СУБД. Серверы BL оптимизированы по плотности размещения и удобству развертывания с использованием корпоративных стандартов в области технологий компьютерных сетей и сетей хранения (таких, как IP и Fibre Channel), а также в области администрирования (SNMP и IPMI).

 

HP ProLiant BL

Первой моделью в этой серии стал сервер ProLiant BL e-Class, выпущенный в начале 2002 г. корпораций Compaq (слившейся впоследствии с Hewlett-Packard). В стойку высотой 42U можно установить до 280 таких серверов (14 полок по 20 серверов в каждой). В настоящее время ProLiant BL e-Class (модели BL10e) оснащаются процессорами Pentium III 800 МГц ULV со сверхнизким рабочим напряжением. Серверы комплектуются ОЗУ типа SDRAM объемом 512 Мбайт, жестким диском емкостью 40 Гбайт и двумя портами 10/100 Ethernet.

Шасси для установки этих серверов оборудованы избыточным количеством вентиляторов с возможностью горячей замены и разъемами для подключения питания.

Серверы ProLiant BL e-Class идеально подходят для использования в качестве серверов одного приложения, например, серверов DNS, DHCP, межсетевых экранов, шлюзов и т. д. ProLiant BL можно сконфигурировать таким образом, что на одном шасси будут работать серверы и с ОС Linux, и с ОС Windows 2000.

Система включает собственно сервер-"лезвие" ProLiant BL 10e Server Blade и полку для размещения 20 таких серверов (рис. 4). Для всей полки, или упаковки, организовано централизованное электропитание и вентиляция - и блоки питания, и вентиляторы зарезервированы. Кроме того, система комплектуется одним из трех предлагаемых типов соединительных панелей для полки и интегрированной логикой администратора управления.

Fig.4 Рис. 4. Полка модульных серверов ProLiant BL.

Сам сервер использует процессор с исключительно низким энергопотреблением, что позволяет от одного источника питания на полке питать до 20 серверов. Поскольку эти серверы используются в качестве серверов одного приложения, то производительность не является здесь высшим приоритетом. Если и возникает необходимость в высокой производительности, то она обеспечивается за счет увеличения числа серверов, выполняющих одно и то же приложение (например, Web-сервис).

Сервер не оснащается слотами PCI, имеет не более одного процессора, оперативную память максимум 1 Гбайт, один диск Ultra ATA и две сетевые платы. ProLiant BL вставляется в полку по направляющим полозьям. Для полки с серверами можно выбрать один из трех вариантов соединительной панели - с 40 разъемами RJ-45 (по одному на каждую сетевую карту сервера), с 4 разъемами RJ-21 или со встроенным коммутатором, который имеет 4 высокоскоростных порта Ethernet 1 Гбит/с.

Интегрированная логика модуля администратора на полке предназначена для управления серверами данной полки. Управление может быть реализовано локально через последовательный интерфейс, удаленно по протоколу telnet или по Интернету. Средства управления включают удаленную тестовую консоль для каждого сервера и позволяют манипулировать идентификаторами сервера, включать или выключать его питание. Они обеспечивают также мониторинг состояния сервера и пересылку предупреждений для ПО Insight Manager.

Для управления сервером предлагается использовать средства управления Compaq Rapid Deployment Pack, которые позволяют реализовать разнообразные сценарии управления серверами. Например, для замены неисправного сервера можно использовать следующий сценарий:

  1. Средства мониторинга и предупреждения отказа посылают сообщение о предстоящем отказе сервера в ПО Insight Manager.
  2. Сервер, на котором ожидается отказ, заменяется на новый.
  3. На новом сервере восстанавливаются конфигурация и программные компоненты старого сервера.

Стоит отметить, что Rapid Deployment Pack также позволял реализовывать некоторые заранее прописанные автоматические политики развертывания серверов. Например, можно было указать, что на данной полке серверы с 1-го по 10-й должны иметь одинаковую конфигурацию и использоваться в качестве Web-серверов. Автоматическая политика в данном случае позволяет определить IP-адреса для всех серверов, задать их имена, сконфигурировать оборудование и загрузить ОС и приложение.

Летом этого года был анонсирован новый класс серверов-лезвий - ProLiant BL p-Class (BL20p). Эти системы представляют собой новое поколение одноплатных серверов ProLiant BL и инфраструктуры для них. Решение разработано специально для адаптивных вычислений и оптимизировано с точки зрения быстрого развертывания и автоматизированного подключения клиентов к различным сервисам. ProLiant BL p-Class - высокопроизводительные одноплатные серверы высокого уровня готовности, предназначенные для применения в многоуровневых архитектурах вычислительных центров. Серверная плата ProLiant BL p-class вставляется в соответствующий отсек серверного корпуса, взаимодействие с которым проходит через один-единственный краевой соединитель. Таким образом, никакие кабели и провода от сервера не отходят. Новая система делает возможным динамическое масштабирование и обеспечивает защиту инвестиций, используя интеллектуальную модульную инфраструктуру, рассчитанную на установку как существующих, так и будущих серверных плат.

Каждое "лезвие" BL20p может быть оснащено уже не одним, а двумя процессорами Pentium III 1,4 ГГц (с внешней шиной 133 МГц). В первом квартале 2003 г. ожидается появление "лезвий", оснащенных процессорами Intel Prestonia Xeon, а чуть позже начнется выпуск 4-процессорных серверов на базе процессоров Gallatin Xeon. Эти микросхемы Xeon, напомним, используют архитектуру Pentium 4.

Стандартный объем памяти с механизмом обнаружения и исправления ошибок (PC133 ECC SDRAM) в новых серверах составляет 512 Мбайт и может расширяться до 4 Гбайт. Сетевые порты 10/100 Ethernet могут быть модернизованы до 10/100/1000Т Ethernet. Кроме того, встроенный контроллер Smart Array 5i позволяет организовывать RAID-массивы уровня 0 и 1. Два заменяемых без остановки работы жестких диска с интерфейсом SCSI обеспечивают общий объем дисковой памяти до 144 Гбайт. Восемь "лезвий" размещаются в специальном корпусе высотой 6U. Таким образом, в стандартную стойку высотой 42U помещается 48 серверов.

Серверы ProLiant BL20p допускают дистанционное администрирование из любой точки мира с использованием встроенной системы Integrated Lights Out (iLO) с дополнительным набором функциональных возможностей. Кроме того, встроенная система администрирования и совместимость с комплектом ПО Insight Manager обеспечивают максимальную полноту виртуального присутствия, управления, администрирования и мониторинга состояния аппаратуры с визуализацией одноплатных серверов, исполняющих все возможные роли на периферии сети.

Объединенное семейство модульных серверов Hewlett-Packard будет отличаться еще и совместимостью с широким спектром ОС и приложений. Эти "лезвия" уже поддерживают или вскоре будут поддерживать платформы Microsoft Windows 2000, Microsoft .NET, ряд версий Linux (SuSE, Red Hat, Caldera) и HP-UX. Кроме того, на обе линейки сверхплотных серверов распространяется HP Blade Server Alliance Program - программа обеспечения совместимости с ПО и аппаратурой других производителей, расширяющая свободу выбора покупателя.

Сейчас продолжается выпуск обеих линеек серверов - HP Server BH и ProLiant BL Server. В будущем их заменят системы нового поколения, включая двух- и четырехпроцессорные модели на основе таких популярных процессоров, как Pentium 4, Xeon, PA-RISC и Itanium 2. Планируется также создание специализированных плат доступа к высокоскоростным сетям и к подсистемам хранения, работающим по протоколам iSCSI и Fibre Channel.