Таинственный мир мегакомпьютеров

Опубликовано в журнале "Компьютер Price" http://www.comprice.ru/

Данила Шеповальников

Гигантомания - стремление к практически неоправданной организации чего-либо в особо крупных размерах. (Прим. автора)

Пока что люди продолжают усиленно работать над совершенствованием самых мощных в мире компьютерных вычислительных систем. Занимаются этим в основном крупные производители, стремящиеся поддержать собственный имидж и обеспечить свои государства необходимым уровнем технической оснащенности для решения самых разнообразных задач. Так в 1943 году компания IBM с благословения командования Военно-морского флота США поддержала изобретателей Говарда Эйкена и Томаса Уотсона, взявшихся за создание универсального программируемого компьютера. "Марк-1" был одним из первых компьютеров, способных перемалывать числа длиной до 23 разрядов. При этом на сложение и вычитание тратились доли секунды, а на умножение не более 3 секунд. За день компьютер выполнял вычисления, на которые раньше требовались годы. В нем использовались простые электромеханические реле, а программы записывались на перфоленте. "Марк-1" выглядел, как и подобает суперкомпьютеру - почти 17 метров длиной и 2, 5 метра высотой, он содержал около 750 тысяч деталей, соединенных проводами общей протяженностью более 800 километров. Когда 3304 реле щелкали, включаясь и выключаясь, управляя вращением валиков и шестеренок, казалось, что толпа старушек шелестит своими стальными спицами... "Марк-1" не снискал большой славы, но стал одним из звеньев в цепи дальнейших постоянных усовершенствований вычислительной техники. Разработка военных лет имела весьма определенное предназначение. Однако со временем люди научились применять мощные компьютеры и в других областях, связанных не только с национальной безопасностью, но и исследованием окружающего мира. Непрерывная технологическая гонка не прекращается и по сей день: суперкомпьютеры стали еще больше, а скорость их вычислений несопоставима с изобретениями старых времен.

Олимпийский пантеон

Проектировать и создавать суперкомпьютеры стало не только полезно, но еще и модно, и даже престижно. Ранее подобные разработки проводились в строжайшем секрете, сейчас же о них принято заявлять всему миру еще до завершения проектов. В соответствии с бородатым анекдотом "Доктор, дайте мне таблеток от жадности! Да побольше, побольше!" производители принялись открыто состязаться друг с другом в мощности создаваемых компьютеров, в результате чего и появился так называемый рейтинг суперкомпьютеров TOP500.

Проект TOP500 был зачат в 1993 году, когда появилась потребность отcлеживать и определять тенденции развития высокопроизводительных вычислительных систем. В рамках проекта два раза в год исследователями Университета Мангейма, Университета штата Теннеси и Национальной Лаборатории Лоуренса в Беркли составляется и выносится на публичное обозрение перечень 500 самых мощных компьютерных систем мира. Наиболее простой способ ознакомления с этой бесценной информацией - посещение web-сайта проекта TOP500 - http://www.top500.org/. Для определения производительности суперкомпьютерных систем используется специальный тест под названием Linpack, который предусматривает решение систем линейных уравнений.

Производительность измеряется в количестве производимых операций с плавающей запятой в секунду. Регулярные конференции под названием SuperComputing, проводимые в США, как раз посвящаются изучению и анализу результатов рейтинга. По этим результатам можно судить об успехах тех или иных производителей, а также о технической оснащенности различных государств.

Разумеется, все 500 суперкомпьютеров распределены по миру весьма неравномерно. Нет ничего удивительного в том, что основная их часть (причем, в основном лидирующая, т.е. компьютеры, возглавляющие рейтинг) сконцентрирована на территории США и Канады. В свою очередь, Япония несколько уступает Европейскому сообществу, бесспорным лидером которого является Германия. На долю стран третьего мира приходится весьма незначительный процент концентрации суперсистем. Картина эта весьма устойчива и с годами не претерпевает существенных изменений.

Последние итоги 22-й по счету публикации рейтинга TOP500 подводились осенью текущего года в Фениксе (штат Аризона), в ходе очередной конференции Supercomputing. Положение суперкомпьютеров в мировом рейтинге весьма неоднозначно и может достаточно сильно меняться раз от раза. Достаточно вспомнить 1998 год, когда бесспорным чемпионом 12-го по счету рейтинга был компьютер ASCI Red, созданный инженерами корпорации Intel на базе 9152 процессорах Pentium Pro с суммарной производительностью в 1,34 терафлоп (триллионов операций с плавающей запятой в секунду).

Однако сегодня этот гигант не входит даже в двадцатку лидеров, а его производительность по нынешним меркам TOP500 вызывает лишь сочувствие со стороны производителей.

Нет смысла приводить развернутый список всех 500 суперсистем, однако на некоторые позиции обратить внимание все же стоит. В первую очередь это касается десятки лидеров последнего опубликованного списка TOP500, с которой можно ознакомиться в прилагаемой таблице.

На сей раз вперед вырвался NEC Earth Simulator Center, созданный в Японии еще в 2002 году и до сих пор не утративший своих лидирующих позиций. Впрочем, к разговору о лидере нам еще предстоит вернуться несколько позже. Второе место по-прежнему занимает ASCI Q, созданный компанией Hewlett-Packard на базе AlphaServer SC45.

Откровенно порадовал новый суперкомпьютер Университета Virginia Tech, прозванный какими-то шутниками BigMac. "Большой Мак" был собран в рекордно короткие сроки - за какие-то 2 месяца, из 1100 настольных (!) двухпроцессорных систем Power Macintosh G5, объединенных в кластер с помощью технологии InfiniBand.

Невозможно обойти стороной и достижения нашей страны. На сегодняшний день официально в списке зарегистрировано уже два действующих на территории России суперкомпьютера. МВС1000М на базе 768 процессоров Aplha занимает 189-е место в рейтинге и предназначен для решения сложных научно-технических задач.

Его пиковая производительность достигает 1 TFlops. Суперкомпьютер состоит из 6 базовых блоков, каждый из которых включает в себя 64 двухпроцессорных модуля. Модули собраны на базе процессоров Alpha 21264A с частотой 667MHz и объединены высокоскоростной сетью Myrinet (2 Гбит/с), используемой только для межпроцессорных коммуникаций во время параллельных вычислений. Система установлена в государственном учреждении под названием Межведомственный Суперкомпьютерный Центр (МСЦ), который был создан в 1996 году совместным решением Российской академии наук (РАН), Министерством науки и технологии Российской Федерации, Министерством образования Российской Федерации и Российским фондом фундаментальных исследований (РФФИ).

Помимо МВС1000М в TOP500 чудом попал Сбербанковский кластер на базе четырех 64-процессорных RISC-серверов HP Superdome, расположившийся на 396 месте. Пустячок, а приятно. Впрочем, на подходе уже очередная отечественная суперсистема. Кластер "СКИФ К-500" построен в рамках совместной российско-белорусской программы "СКИФ" по развитию вычислительной техники.

Разумеется, тут не обошлось без корпорации Intel, благосклонно настроенной по отношению к любым российским начинаниям. В основе кластера - 128 процессоров Intel Xeon с тактовой частотой 2,8 ГГц, объединенных в 64 двухпроцессорных вычислительных узлах. На каждый узел приходится по 60 Гб дисковой подсистемы, а общая емкость составляет 3840 Гб. Кластер располагает 128 Гб оперативной памяти, а его пиковая производительность составляет 716,8 гигафлопс (миллиардов операций с плавающей запятой).

Увы, после сдачи кластера в эксплуатацию в сентябре 2003 года он был установлен в Минске, в здании Объединенного института проблем информатики национальной академии наук (ОИПИ НАН) Республики Беларусь. Институт выступил основным заказчиком работ по созданию кластера, а также выполнил окончательную сборку и наладку системы.

Разработкой конструкции и окончательной сборкой кластера занимался минский НИИ ЭВМ. Установку программного обеспечения, разработку вычислительных узлов и предварительную сборку кластера выполнили Институт программных систем РАН (ИПС РАН) совместно с компанией "Т-платформы".

В ближайшее время в России вряд ли появится суперкомпьютер полностью собственного производства, способный войти в рейтинг лучших. Однако радует уже сам факт того, что в нашей стране находятся люди, которые осознают важность суперкомпьютерных вычислительных мощностей.

Главной тенденцией последних лет является экспоненциальный рост суммарной производительности 500 самых мощных компьютеров мира. Она увеличивается в 10 раз каждые 4 года:

1993 год - ~1 терафлоп;
1997 год - 10 терафлоп;
2001 год - 100 терафлоп;
2003 год - 528 терафлоп.

Если темпы роста сохранятся, то заветного предела в 1 петафлоп (1000 терафлоп) 500 лучшим суперкомпьютерам мира удастся достичь уже в 2005 году. Серьезный вклад в прирост общей производительности, как правило, вносят лидеры, вынуждающие других "соответствовать уровню".

Царь горы

На троне мирового рейтинга суперкомпьютеров воцарился NEC Earth Simulator. Проект под этим названием стартовал еще в далеком 1996 году. В апреле 1997 года был утвержден бюджет, выделенный на разработку нового суперкомпьютера под названием Earth Simulator (Эмулятор Земли). К проекту присоединились Японское национальное агентство космических исследований (NASDA), Институт атомной энергии Японии (JAERI), а также Корпорация развития ядерного топлива (PNC). Работа закипела.

В ходе обсуждений вариантов реализации проекта был выбран концептуальный дизайн системы, предложенной корпорацией NEC. В 2000 году японцы приступили к сборке, которая завершилась лишь к 2002 году.

Затраты на строительство и разработку составили около 400 миллионов долларов. Однако результат оправдал самые смелые ожидания. Новый суперкомпьютер превысил скорость предыдущего лидера TOP500 в пять раз.

Конструкция NEC Earth Simulator базируется на 5104 процессоров, позволяя достигать скорости в 35860 миллиардов математических операций с плавающей запятой в секунду. При этом японские специалисты заявляют, что данный показатель составляет лишь 89% от возможной производительности суперкомпьютера.

Технологический организм Earth Simulator (системы электропитания, кондиционирования, освещения и т.д.) едва уместился в ангар размером 50x65x17 метров. Скорость двунаправленной передачи по каждому каналу, соединяющему 640 процессорных узлов с переключателем, равна 12,3 Гбайт/с. Соединяющие кабели протянулись на 2400 км. Оперативная память каждого узла разделена на 2048 банков и имеет объем 16 Гбайт. Максимальная производительность одного арифметического процессора достигает 8 Гфлопс. В состав узла входят 8 векторных арифметических процессоров, поэтому пиковая производительность всего компьютера (640x8=5120 процессоров) равна 40 Тфлопс.

Этот вычислительный монстр установлен в Японском центре морских наук и технологий (Japan Marine Science and Technology Center). Профессор Тетсуя Сато (Tetsuya Sato) - генеральный директор проекта - считает NEC Earth Simulator настоящим подарком всему научному миру.

Название суперкомпьютера выбрано не случайно, исходя из четырех основных задач, возлагаемых на него конструкторами и разработчиками:

1. Анализ и обработка данных об изменении климата на планете.

2. Предсказание возможных природных катаклизмов, вроде глобального потепления и экологической разрухи.

3. Инновационное содействие в развитии любых областей промышленности и науки.

4. Символический вклад во взаимоотношение человечества с природой.

Вырвавшись в лидеры TOP500 летом 2002 года, Earth Simulator по-прежнему уверенно занимает первое место в перечне самых мощных компьютеров мира. Впрочем, несмотря на значительный отрыв в производительности от второго места, неизвестно, насколько долго продлится эта японская гегемония. По слухам, корпорация IBM совместно с Национальной метеорологической службой США уже готовит достойный ответ конкурентам. Работы над их новым суперкомпьютером будут завершены к 2009 году, однако уже сейчас системе, пока что состоящей из 44 Unix-серверов p690, предрекают пиковую производительность в 100 терафлопс. Кластер IBM, соединенный с метеорологической службой высокоскоростным каналом связи, установлен в Гейтерсбергском филиале IBM. Хватит ли запланированного бюджета в 200 миллионов долларов, для того чтобы добиться желаемого результата, покажет время.

Кто не RISCует...

Как уже отмечалось ранее, ситуация с неравномерным распределением суперкомпьютеров по странам мира за последнее время не претерпела существенных изменений. Иным образом обстоит дело с производителями суперкомпьютерных платформ и процессоров для них.

Некогда безоговорочные лидеры Silicon Graphics Inc. (SGI), Sun Microsystems Inc. и IBM постепенно утрачивают свое влияние, уступая дорогу молодым. Для аксакалов суперкомпьютерного строения результаты действительно оказались несколько тревожными.

Если сравнивать по суммарной вычислительной мощности системы одного производителя, вошедшие в TOP500, то соотношение сил в первой тройке выглядит следующим образом:

IBM - 35,4 %

Hewlett-Packard - 22,7 %

NEC - 8,7%.

При этом компания Hewlett-Packard умудрилась обскакать своих конкурентов по общему числу входящих в рейтинг суперкомпьютеров: их набралось аж 165 штук. За ней ноздря в ноздрю идет IBM со 159 компьютерами, и 59 систем от Silicon Graphics Inc. Казалось бы, RISC-системы HP и IBM по-прежнему в моде и остаются главными платформами для суперкомпьютерных вычислений. Однако в борьбу за лидерство постепенно включаются другие компании, а ситуация с процессорами суперкомпьютеров уже складывается не в пользу RISC-процессоров.

На этот раз в десятку лидеров 22-й редакции рейтинга вошли компьютеры на базе процессоров, которые ранее никогда не встречались в конфигурациях суперсистем TOP500. Помимо уже упомянутого "Биг Мака" (IBM PowerPC 970), попавшего в тройку сильнейших, таким "открытием сезона" стал 2816-процессорный кластер на базе AMD Opteron, построенный компанией Linux Networx для Национальной лаборатории США в Лос-Аламосе. Впрочем, к нему присоединились еще три системы на базе процессоров от Advanced Micro Devices:

- вычислительная установка в лаборатории интеллектуального системного проектирования в Университете Досиса (Киото, Япония), построенная компанией Visual Technology (93 место);

- суперкомпьютер в Ливерморской национальной лаборатории имени Лоуренса, сконструированный компанией Linux Networx (116 место);

- система, построенная компанией RackSaver совместно с Arima и Myricom и работающая в Центре разработчиков AMD в Саннивейле, штат Калифорния (247 место).

Успехом AMD Opteron заинтересовались и другие организации, тем или иным образом имеющие отношение к TOP500. Вычислительная лаборатория Innovative Computing Lab университета штата Теннесси, являющаяся непосредственным составителем списка Top500, выбрала систему на базе процессора AMD Opteron от компании Atipa Technologies для построения нового суперкомпьютерного кластера, который планировалось ввести в эксплуатацию уже в первых числах декабря текущего года. В этом кластере, состоящем из 64 узлов, установлено 128 процессоров AMD.

Таким образом, постепенно общее количество систем PA-RISC в TOP500 сократилось со 128 до 114. Power4 также снизил свои показатели с 64 до 50 систем. На этот раз недорогие Linux-кластеры на базе Intel и AMD серьезно отодвинули конкурентов за счет своей возрастающей производительности, низкой стоимости и относительной простоты конфигурирования и сборки. Быстрое удешевление оборудования для кластерного соединения превращает подобные системы в продукт массового потребления. Одной из главных причин этого явления стали направленные усилия компании Intel.

Не мытьем, так катаньем

В корпорации Intel никогда не скрывали своего стремления регулярно завоевывать лидирующие позиции в рейтинге TOP500. Главной задачей компании является постоянное повышение престижа собственной продукции. Производитель хочет доказать всему миру, что процессоры и системы Intel - это не только и не столько надежность и быстродействие для дома и офиса. Для этого, поддерживая перспективные отраслевые исследования, корпорация даже вложила целых 36 миллионов долларов в программу развития передовых вычислительных технологий под названием Advanced Computing Program. Впрочем, речь сейчас не об этом.

Результаты 22-го выпуска рейтинга TOP500 для Intel безусловно являются позитивными. С одной стороны, долгожданный трон абсолютного чемпиона среди суперкомпьютеров для систем на базе Xeon и Itanium 2 остается недосягаемым. С другой стороны, суммарное число входящих в рейтинг Intel-систем растет как на дрожжах: на этот раз в список TOP500 их попало на 58% больше, чем полгода назад, и в три раза больше, чем в ноябре прошлого года (189 против 56). Число суперкомпьютеров на базе Itanium 2 также неуклонно растет. Кроме того, 5 из 15 лидеров TOP500 выступают под знаменами Intel.

Некоторые компьютеры из числа Intel-систем, входящих в состав TOP500, следует отметить особым образом. Во-первых, это кластер Tungsten - компьютер Национального центра суперкомпьютерных вычислений США (NCSA), созданный компанией Dell и уверенно занимающий четвертую позицию в первой десятке. Основную вычислительную мощь этого компьютера составляют 2500 процессоров Intel Xeon. На пятом месте укрепился компьютер Тихоокеанской Северо-Западной национальной лаборатории, со 1936 процессорами Intel Itanium 2 "на борту". Седьмая и десятая системы в рейтинге принадлежат Ливерморской национальной лаборатории Лоуренса (Lawrence Livermore National Laboratory) - кластер MCR, созданный Linux Networx и Quadrix на базе 2304 процессоров Intel Xeon, и кластер xSeries (созданный IBM и Quadrics), насчитывающий 1920 процессоров Intel Xeon соответственно. На 14 месте находится вычислительная система Академии наук КНР с 1024 процессорами Intel Itanium 2.

Подводя итоги последнего, 22-го выпуска рейтинга TOP500, аналитики не могли не отметить тот факт, что почти 38% систем, вошедших в список, построены на базе процессоров Intel, супротив 23% систем на основе RISC-процессоров. Таким образом, Intel-системы впервые обошли своего главного конкурента. Пусть и не по занимаемым в рейтинге местам, но зато по их общему количеству. Впрочем, уже в следующем издании TOP500 ситуация коренным образом может измениться.

Неугомонные инженеры корпорации Intel, объединив свои интеллектуальные усилия с California Digital и Калифорнийским университетом, приступили к разработке одного из самых мощных в мире (по их скромному мнению) суперкомпьютеров для все той же Ливерморской национальной лаборатории Лоуренса, где уже находятся две системы, упомянутые выше. Нервными клеточками новоиспеченного монстра станут около 4000 процессоров Intel Itanium 2. Сверхкомпьютер еще до рождения окрестили "Thunder", что значит "Гром". Шутка ли - двадцать триллионов операций с плавающей запятой в секунду! В состав кластера Thunder входит 960 узлов на базе процессора Intel Itanium 2 с тактовой частотой 1,4 ГГц и четырехмегабайтным кэшем третьего уровня. Кроме этого, на каждом узле установлено по 8 гигабайт оперативной памяти и жесткий диск UltraSCSI320 объемом 73 гигабайта. Системы оборудованы гигабитными сетевыми контроллерами Intel, обеспечивающими управление кластером и двухпортовыми серверными сетевыми адаптерами IntelR PRO/1000 MT. Системные платы узлов выполнены на базе наборов микросхем Intel E8870, с оптимизацией под Itanium 2. Общий объем дискового пространства кластера превысит 190 терабайт. В недрах лаборатории уже сейчас делают предварительные оценки. Производительность Thunder составит около 20 триллионов операций с плавающей запятой в секунду, что позволит вырвать второе место в мировом списке систем, а также обеспечить работу ученых в LLNL, связанную с национальной безопасностью, материаловедением, исследованием атмосферы и океана, сейсмологией, биологией, а также изучением магнитного и инерциального термоядерного синтеза. По прикидкам инженеров, на создание чудо-компьютера понадобится никак не больше 5 месяцев. Уже в начале 2004 года в суперкомпьютерном раю прогремит гром, извещающий всех об очередных перестановках в группе лидеров, а значит, стоит продолжать следить за новыми редакциями рейтинга TOP500 и делать собственные ставки.

По материалам http://www.top500.org/