Алексей Борзенко
к. т. н., доцент Рязанской радиотехнической академии

Сложность задач, стоящих сегодня перед крупными коммерческими, государственными и научно-исследовательскими организациями, постоянно возрастает. В соответствии с этими задачами от современных больших серверов требуется достаточная мощность, позволяющая извлекать информацию из больших массивов данных сложной структуры (включающих мультимедиа- и неструктурированные данные), выполнять крупномасштабные расчеты, поддерживать очень большие каталоги с информацией о сотнях тысяч пользователей, которые могут обращаться к онлайновым сервисам через Интернет. Серверы также должны справляться с непредсказуемыми скачками нагрузки, связанными с обработкой транзакций, работать круглосуточно (24 часа в день, 365 дней в году), интегрироваться в полностью гетерогенную среду.

Помимо чисто технологических характеристик, не следует забывать и о технико-экономических показателях. Здесь немалую роль играют следующие факторы:

  • соотношение цена/производительность;
  • возможность динамически адаптировать аппаратные ресурсы, выделяемые каждому из параллельно работающих на одной системе приложений в зависимости от их загрузки (причем приложения могут работать и под управлением разных операционных систем);
  • удобная система администрирования для мониторинга операций и оптимизации ресурсов, выделяемых каждой задаче;
  • доступность большого портфеля приложений.

Ведущие производители в ИТ-индустрии тем или иным образом пытаются оптимально решать задачи подобного рода. Так, осенью прошлого года французская компания Bull SA (http://www.bull.com) представила в России свою новейшую разработку - семейство серверов NovaScale на базе 64-разрядных процессоров Intel. Эти компьютеры предназначены в первую очередь для коммерческих и научных приложений, связанных с обработкой больших объемов данных, в том числе для систем ERP и CRM, пакетов САПР, а также для выполнения сложных расчетов.

В основе серверов NovaScale лежат не только 64-разрядные процессоры семейства Intel Itanium 2, но и фирменная архитектура Flexible Architecture for Multiple Environments (FAME). Именно эта концепция позволяет с помощью высокоскоростных коммутаторов создавать SMP-системы и строить кластеры с архитектурой ссNUMA. По мнению разработчиков, во многом благодаря FAME серверы NovaScale отличаются наилучшим соотношением цена/производительность в классе 64-разрядных машин.

Хотя SMP-архитектура с разделяемой памятью остается лучшим решением для многопоточных приложений, для самых требовательных к вычислительной мощности приложений возможностей существующих сегодня больших SMP-систем оказывается недостаточно. Для решения этой проблемы модель многопроцессорной архитектуры с совместно используемой памятью была объединена с программированием обмена сообщениями. Для приложений серверы с архитектурой FAME будут связаны между собой каналами, характеризующимися низкой задержкой и высокой пропускной способностью, что даст возможность строить высокопроизводительные кластеры. Bull уже заключила несколько партнерских соглашений, которые позволят предоставить полное решение в этой области.

Отметим, что проект FAME специалисты Bull ведут совместно с такими крупнейшими корпорациями, как Intel, Microsoft, Oracle, еще с 1997 г. При разработке серии серверов NovaScale большое внимание было уделено стандартизации (до 90% компонентов этих машин - стандартные, используемые в Intel-серверах) и модульности построения, что позволяет снизить затраты на техническое обслуживание, сократить время на восстановление и повысить надежность оборудования.

В этих серверах реализованы такие функции повышения уровня надежности и готовности, как дублирование компонентов, централизованное администрирование системы с помощью Web-терминала, а также горячая замена неисправных элементов. NovaScale способны работать под управлением операционных систем Microsoft Windows Server 2003, Linux (дистрибутивы Red Hat и SuSE) и GCOS, причем на одном сервере могут быть установлены и одновременно запущены в разных физических разделах все три указанные ОС. Возможность работы в системе GCOS, используемой в мэйнфреймах Bull, нужна для поддержки унаследованных приложений. Особое же внимание Bull уделяет Linux.

Технологические успехи Bull не могли остаться незамеченными, в том числе и в нашей стране. В начале декабря прошлого года российская компания Kraftway (http://www.kraftway.ru), производитель компьютерного и серверного оборудования, объявила о выпуске нового семейства многопроцессорных серверных систем G-Scale. В качестве платформы для создания G-Scale была выбрана архитектура FAME корпорации Bull, в которой, по мнению экспертов Kraftway, наилучшим образом реализована технология ccNUMA на процессорах Intel Itanium 2. Отметим, что на сегодняшний день Kraftway единственная из российских производственных компаний предлагает системы подобного класса и сложности.

Серверы NovaScale

В новую линейку входят три модели: NovaScale 4040, 5080 и 5160. В серверах используются процессоры Intel Itanium 2 с тактовой частотой 1,3-1,5 ГГц. Объем кэш-памяти 3-го уровня составляет от 3 до 6 Мбайт, а кэш-памяти 2-го уровня - 256 Кбайт. Объем оперативной памяти равен 1 Гбайт и может расширяться до 32 Гбайт. Технология EPIC, применяемая в Itanium, обеспечивает более быструю обработку сложных команд и операций с плавающей запятой. В конфигурацию машины включаются от восьми до четырнадцати SCSI-дисков, объединенных в RAID-массив емкостью от 576 Гбайт до 1,1 Тбайт с возможностью горячей замены и увеличения числа приводов до 22 (общим объемом до 3,1 Тбайт). Вместе с серверами поставляется пакет программ, содержащий компиляторы, библиотеки программ и инструментальное ПО.

Четырехпроцессорная система NovaScale 4040 - это компактный и недорогой стоечный сервер высотой 4U, предназначенный в основном для построения кластеров. В свою очередь, NovaScale 5080 и 5160 представляют собой мощные SMP-системы. Они поддерживают восемь и шестнадцать процессоров соответственно, поставляются в шкафах и также могут объединяться в кластеры. В состав этих машин входит управляющий терминал. Высокая масштабируемость NovaScale 5080 и 5160, построенных на базе стандартного НМС Intel E8870, обеспечивается специальным коммутатором FAME Scalability Switch (FSS), разработанным специалистами Bull. Это решение дает возможность создавать 8-, 12- и 16-процессорные SMP-системы и NUMA-кластеры за счет объединения четырехпроцессорных системных плат с Itanium 2.

Что дает архитектура FAME

Поскольку архитектура FAME основана на стандартных компонентах, изготавливаемых Intel в больших объемах, это значительно улучшает соотношение цена/производительность. На ее основе разработан и интегрирован ряд функций высокой производительности для построения систем SMP, содержащих от 8 до 32 процессоров. Использование стандартных компонентов гарантирует и доступность множества приложений.

Поскольку серверы класса high-end, как правило, интегрированы в самую стратегически важную среду предприятия, они должны работать непрерывно, без простоев. В архитектуре FAME это гарантируется не только резервированием компонентов, но и возможностью изолировать и заменить дефектный элемент, не прерывая функционирования системы.

Благодаря функции динамических разделов архитектура FAME обеспечивает консолидацию на одном сервере нескольких приложений, работающих под управлением разных ОС - Windows, Linux, GCOS 7 и GCOS 8. В условиях непредсказуемых скачков нагрузки такая возможность позволяет системе динамически адаптироваться к изменениям нагрузки без остановки работы.

Роль Intel

Семейство процессоров Intel Itanium, предназначенное для построения мощных серверов, основано на 64-разрядной архитектуре, реализующей принципиально новую концепцию выполнения программ. Для достижения максимальной производительности в этой концепции применяется тесное взаимодействие компиляторов с архитектурой микропроцессора, что позволяет задействовать дополнительные факторы повышения производительности, помимо повышения тактовой частоты. Более того, ожидается, что развитие архитектуры Itanium в ближайшие годы откроет новые возможности роста мощности. Помимо бизнес-приложений, это семейство процессоров находит применение в высокопроизводительных вычислениях, благодаря чему оборудованные ими системы используются в науке и технике.

По словам разработчиков, выбор в пользу применения этого процессорного семейства совместно с архитектурой FAME был сделан с учетом вышеперечисленных причин. Впрочем, не следует забывать и о технологическом лидерстве Intel и ее возможности делать долгосрочные инвестиции в непрерывное улучшение производительности и функциональности процессоров Itanium.

Кстати, благодаря общности подхода к технологиям и оценки перспектив рынка Bull и Intel смогли добиться тесного сотрудничества с самого начала создания архитектуры FAME, включая, в частности, регулярный обмен инженерами между лабораториями обеих компаний и предоставление прототипов продуктов Bull лабораториям Intel. Такое сотрудничество обеспечило Bull расширение доступа к разработкам Intel, использование некоторых компонентов и проектирование в соответствии со спецификациями Intel. Intel же получила возможность проверки работы ее компонентов в мультипроцессорной архитектуре и учет в своих перспективных планах развития потребностей больших серверов.

Bull - только факты

Оборот компании Bull за 2002 г. составил около 1,5 млрд евро. Основная продукция компании - это серверы (они дают почти половину оборота), в том числе уровня мэйнфреймов. Подавляющая часть этих устройств реализуется в странах Западной Европы, причем около половины приходится на Францию.

Bull накопила большой опыт разработки серверных технологий - на ее счету свыше 100 тыс. инсталляций оборудования, включая 70 тыс. Unix-серверов Escala и 32-разрядных Intel-серверов Express5800 и примерно 1,5 тыс. мэйнфреймов GCOS. Компания сформировала план развития серверного бизнеса на десять лет вперед, в котором предусмотрена эволюция ценовой политики и стандартизации оборудования, а также продвижение на новые рынки.

Основные акционеры Bull - это компании NEC (16,9%), Motorola (16,9%), France Telecom (17%) и правительство Франции (16%). Сегодня в Bull работает более 8 тыс. сотрудников.

Основные принципы архитектуры

Как отмечалось выше, концепция FAME основана на архитектуре NUMA (Non Uniform Memory Access), оптимизированной Bull для построения больших SMP-систем из блоков QBB (Quad Brick Block) с четырьмя процессорами Intel Itanium 2 и отдельной памятью. Кроме модулей QBB, система включает модули ввода-вывода IOB (Input Output Boxes). Такой набор компонентов обеспечивает модульность - за счет комбинирования процессоров, памяти и ввода-вывода, что позволяет строить как простейшие системы начального уровня, так и объединенную архитектуру самой высокой мощности с помощью репликации и межсоединений (рис. 1).

Fig.1 Рис. 1. FAME-архитектура серверного кластера.

В основе этой конструкции лежат высокоскоростные межсоединения и разработанная инженерами Bull сложная микросхема FSS (FAME Scalability Switch), обеспечивающая каждому процессору доступ к вводу-выводу и согласованное обращение к общей памяти, которая может достигать 256 Гбайт. Заметим, что эта память формируется путем объединения модулей памяти каждого QBB.

По мнению создателей FAME, основной вклад специалисты Bull сделали в пяти основных областях, которые кратко охарактеризованы ниже.

Межсоединение компонентов с высокой скоростью и малой задержкой. В этом контексте Bull разработала FSS как ядро архитектуры FAME. Устройство FSS, использующее 0,18-мкм технологию КМОП с медными межсоединениями, представляет собой кристалл со стороной 18 мм, состоит из 60 млн транзисторов и имеет 1520 контактов ввода-вывода, - это, безусловно, одна из самых сложных микросхем. FSS обеспечивает единство информации в масштабах всей системы, независимо от того, находится ли эта информация в основной памяти или скопирована в кэш-память процессоров. Таким образом, FSS позволяет построить большую многопроцессорную систему с единым адресным пространством. FSS также оптимизирует трафик между процессорами и синхронизирует передачу данных внутри сервера. Благодаря эффективной оптимизации микросхем и используемых протоколов коэффициент разброса времени доступа к памяти составляет 1:3, в то время как в системах NUMA первого поколения он равнялся 1:15.

Встроенное ПО Platform Administration and Maintenance (PAM). Это ПО управляет системой, включая операции с разделами. Оно играет важную роль в обеспечении высокой доступности модулей. PAM - это также инструмент проактивного администрирования, поскольку все важные события не только записываются, но могут автоматически генерировать корректирующие действия и вызов в центр поддержки. В частности, PAM позволяет с помощью FSS реализовать эффективное управление динамическими разделами системы (процессорами, памятью и вводом-выводом) и инфраструктурой хранения.

Динамические разделы. Система, основанная на архитектуре FAME, может разбиваться на несколько независимых доменов (максимум четыре). В данном контексте под доменом понимается единый набор ресурсов, управляемый одной из ОС, что обеспечивает настоящую физическую изоляцию разных подсистем и независимое параллельное выполнение нескольких ОС на одной системе, при котором сбои в одной ОС не влияют на работу остальных. Конфликты между разделами невозможны, поскольку у них нет общих ресурсов; это улучшает гибкость, производительность и надежность работы.

Данные функции также обеспечивают выделение "мощности по требованию" при непредсказуемых скачках нагрузки, например, при работе с Интернетом, когда необходимо задействовать дополнительные процессоры.

Высокая доступность. Этот параметр обеспечивается благодаря целостности данных (для всех путей передачи данных используется обнаружение и исправление ошибок с помощью контрольных сумм), резервированию всех компонентов системы (отсутствуют единые точки отказа) и горячей их замене без остановки системы (это относится к источникам питания, вентиляторам, платам ввода-вывода и даже платам QBB с процессорами и памятью - при условии, что ОС поддерживает горячую замену).

Плотность компоновки. Для обеспечения высокой общей производительности системы и удобного обслуживания особое внимание уделялось компоновке системы. В результате разработчикам удалось уместить в пространство, равное 1/3 кубометра, модуль из четырех плат QBB (иными словами - 16 процессоров с оперативной памятью), а также две платы ввода-вывода с 22 слотами PCI-X, вентиляторы и источники питания.

Технические характеристики

Ключевой элемент архитектуры FAME - это соединительный процессор FSS, поддерживающий кумулятивную производительность нескольких (до восьми) четырехпроцессорных плат QBB (рис. 2). Таким образом, 32-процессорная система состоит из модулей, каждый из которых содержит два FSS для защиты от сбоев и повышения пропускной способности, до четырех QBB и двух блоков ввода-вывода IOB. Связывание модулей организовано путем соединения FSS каждого модуля через четыре канала XSP (eXtended Scalability Port) с общей пропускной способностью свыше 25 Гбайт/с и тактовой частотой 2,5 ГГц.

Fig.2 Рис. 2. Базовая FAME-архитектура.

Пропускная способность памяти обеспечивается за счет агрегирования контроллеров памяти SNC (Scalability Node Controller), установленных на каждом четырехпроцессорном блоке. У каждого SNC пропускная способность памяти равна 6,4 Гбайт/с и может достигать 25 Гбайт/с для всех его интерфейсов. В максимальной конфигурации архитектура FAME обеспечивает пропускную способность памяти свыше 50 Гбайт/с.

Особое внимание разработчики уделили оптимизации задержек доступа к памяти за счет эффективной организации трафика согласования содержания кэш-памяти. В результате удалось значительно сократить трафик внутри QBB. Так называемый коэффициент NUMA, который обычно оказывается самым слабым звеном в системах, состоящих из "кирпичиков", также значительно улучшился. Он равен 1:2:3 (соответственно время доступа к памяти в том же QBB, в другом QBB в том же модуле и в QBB в другом модуле), поэтому архитектура FAME обеспечивает высокую производительность даже для того ПО, которое не было специально настроено для NUMA.

Подсистема ввода-вывода

Подсистема ввода-вывода FAME разрабатывалась с целью оптимизации доступа к данным и сети. Использование стандартных, доступных на рынке компонентов и мощных функций коммутации позволило легко интегрировать новейшие технологии. Система была настроена в расчете на то, чтобы производительность ввода-вывода соответствовала вычислительной мощности. Так, четверть пропускной способности FSS выделена для ввода-вывода. Будучи архитектурой для больших корпоративных систем, FAME реализует "толстые трубы" с несколькими быстрыми шинами PCI-X (8 на один модуль IOB), что обеспечивает работу высокоскоростных контроллеров (например, FCS/Fibre Channel 2 Гбит/с) без интерференции и с улучшенным исправлением ошибок. Использование сетей хранения данных SAN дает возможность задействовать резервные каналы для эффективной балансировки нагрузки подсистемы ввода-вывода. Более того, эта подсистема обеспечивает очень высокую масштабируемость и производительность: ее пиковая пропускная способность достигает 6 Гбит/с, в установившемся режиме - 2 Гбит/с и 250-300 тыс. операций ввода-вывода в секунду.

Инфраструктура сети хранения данных

Все периферийные и коммуникационные устройства соединяются с IOB через платы PCI-X. Архитектура FAME включает сеть SAN, которую могут использовать несколько серверов. Централизованное администрирование обеспечивает единый механизм реконфигурирования доменов и их путей доступа к системе хранения. Поэтому при перемещении набора ресурсов (например, два QBB и один IOB) из одного домена в другой необходимо провести синхронизирующую реконфигурацию сети межсоединений, используя FSS и сеть Fibre Channel, обеспечивающую доступ к системам хранения. Эта операция выполняется целиком автоматически. Более того, с одной консоли можно управлять всеми доменами нескольких серверов, основанных на архитектуре FAME; такая конфигурация называется расширенной FAME.

Серверы Kraftway G-Scale

Модели G-Scale 6008 и 6016 - это SMP-системы, поставляемые в монтажном шкафу высотой 36U. Они поддерживают соответственно до 8 и 16 процессоров и предоставляют возможности кластеризации. В состав каждого сервера входит консоль для централизованного управления системной средой, операционной системой, серверами, устройствами хранения и сетями хранения данных (SAN). Серверы работают под управлением ОС Windows или Linux.

Fig.3 Сервер G-Scale.

Высокая масштабируемость G-Scale 6008 и 6016 достигается за счет специального коммутатора FSS (FAME Scalability Switch) и НМС Intel E8870, что позволяет создавать 4-, 8-, 12- или 16-процессорные системы на базе процессоров Intel Itanium 2. Кроме того, эти модели совместимы со следующим поколением процессоров семейства Itanium 2. Технические характеристики делают G-Scale 6008 и 6016 реальной альтернативой мощным RISC-системам.

Системы G-Scale нацелены на исполнение критически важных бизнес-приложений, высокопроизводительных вычислений и создания катастрофоустойчивых кластерных систем. Они позиционируются прежде всего как центры обработки данных и могут быть востребованы вычислительными центрами федеральных министерств и ведомств, крупными корпорациями (в частности, эксплуатирующими интегрированные управленческие ERP-системы) и научными учреждениями. Дело в том, что благодаря 64-разрядной архитектуре Kraftway G-Scale 6008 и 6016 обеспечивают обработку больших объемов данных при работе ресурсоемких приложений класса Business Intelligence, ERP, CRM и других. Технология EPIC (Explicitly Parallel Instruction Computing) позволяет быстрее обрабатывать сложные команды и операции с плавающей запятой, что важно при решении больших счетных научно-технических и конструкторских задач.

На все системы G-Scale предоставляется расширенная 5-летняя гарантия с обслуживанием на месте эксплуатации. Учитывая сложность оборудования, Kraftway включила в стандартный гарантийный пакет ряд дополнительных услуг: проверку готовности помещения и согласование требований заказчика к размещению оборудования с требованиями ТУ, рекомендации по обучению персонала, установку базовых сетевых настроек, инициализацию предустановленной ОС и запуск всех блоков аппаратных средств.

Для успешного продвижения систем G-Scale исключительно важно то, что в Kraftway имеется Центр серверных решений, специалисты которого обеспечат поддержку и проведут необходимую экспертизу.