Материалы по тегу: omni-path

01.09.2017 [06:52], Алексей Степин

Новый японский суперкомпьютер Tsubame 3 в деталях

За звание обладателя быстрейшего в мире суперкомпьютера активно борются два азиатских тигра — КНР и Япония. Обе страны обладают огромным потенциалом в области разработки микроэлектроники. Пока лидируют китайцы: в списке Top 500 первые два места занимают системы Sunway TaihuLight и Tianhe-2; первая, к тому же, славится своей экономичностью, потребляя всего 15,3 мегаватта при производительности в районе 93 петафлопс. Но это не значит, что Страна восходящего солнца собирается сдаваться. В 2011 году и ранее первое место в списке машин с наилучшим соотношением производительности и уровня энергопотребления занимал японский кластер Tsubame 2. Его наследник, Tsubame 3, готов побороться в высшей лиге, в этом уверен профессор Токийского технологического института Сатоши Мацуока (Satoshi Matsuoka), один из разработчиков вычислительного комплекса.

Сатоши Мацуока демонстрирует один из узлов Tsubame 3

Сатоши Мацуока демонстрирует один из узлов Tsubame 3. Виден унифицированный контур СЖО

За его плечами двадцатилетний опыт проектирования и строительства кластерных систем различных масштабов, мощностей и назначения. Первый же спроектированный им суперкомпьютер Tsubame 1 (введён в строй в 2006 году) обошёл мощнейший на тот период вычислительный комплекс Earth Simulator, и при этом он был универсальным и пригодным для выполнения задач любого рода. Профессор не без оснований полагает, что его группа одна из первых в области создания гетерогенных архитектур. Опыты в области экономичности, однако, показали, что применение малых экономичных, но узкоспециализированных процессоров не является оптимальным. В итоге была избрана гетерогенная схема с x86 в качестве управляющих процессоров и графических ускорителей в качестве вычислительных модулей.

Главным поставщиком оборудования для Tsubame 3 стала компания HPE

Главным поставщиком оборудования для Tsubame 3 стала компания HPE

Уже Tsubame 2 был полностью гетерогенным и, как уже было сказано, этому кластеру удалось поставить рекорд экономичности. Его наследник получил такую же архитектуру. В его основе лежит 540 узлов, каждый из которых содержит по четыре ускорителя NVIDIA Tesla P100 (2160 в сумме) и два 14-ядерных процессора Intel Xeon E5-2680 v4 (15120 ядер в сумме). Для межузловой связи имеется пара портов Intel Omni-Path (2160 портов суммарно), а в качестве подсистемы хранения данных применены накопители Intel серии DC с поддержкой NVMe объёмом 2 Тбайт. Такова конфигурация узла HPE Apollo 8600, который по габаритам меньше стандартного корпуса формата 1U.

Ускоритель NVIDIA Tesla P100 в версии NVLink

Ускоритель NVIDIA Tesla P100 в версии NVLink

Над Tsubame 3 была проведена тщательнейшая оптимизация, и она дала свои плоды. Хотя на момент проведённых замеров в июне 2017 года машина работала не в полной конфигурации, ей уже удалось занять 61 место в общем списке Top 500 и выйти на первое место в списке Green 500, отобрав его у NVIDIA DGX-1 и Cray XC50, а также и у Sunway TaihuLight. Показатель составил 14,11 гигафлопс на ватт, что существенно выше предыдущего рекорда —  9,4 гигафлопс на ватт. Полностью система вошла в строй не так давно, 1 августа. Её расчётная мощность составляет 12,1 петафлопс. До TaihuLight, конечно, далековато, но команда Сатоши Мацуока не собирается уступать место в Green 500.

Япония —  лидер экономичности: все три первых места в Green 500 принадлежат ей

Япония —  лидер экономичности: все три первых места в Green 500 принадлежат ей

Интересен выбор технологии Omni-Path вместо традиционных Ethernet или InfiniBand, но исследователи выяснили, что оптимальным соотношением пропускной системы локальной памяти и скорости межузловых соединений является 2 к 1. С тех пор они придерживаются этого параметра, и скорости, предлагаемые Omni-Path, отлично способствуют сбалансированности системы в целом: Omni-Path даёт скорость 12,5 Гбайт/с, PCIe — 16 Гбайт/с, а NVLink — 20 Гбайт/с. Разница в скоростях составляет менее 2 к 1. Применение новой сетевой технологии позволило «накормить» каждый графический ускоритель в системе так, чтобы он простаивал как можно меньше. Кроме того, адаптеры Omni-Path показали себя более экономичными, нежели эквивалентные им карты InfiniBand. В узлах также использованы коммутаторы PCI Express, и все устройства могут общаться друг с другом независимо от центральных процессоров x86.

Комплекс Tsubame 3 использует жидкостное охлаждение

Комплекс Tsubame 3 использует жидкостное охлаждение

В интервью зарубежным СМИ Сатоши Мацуока озвучил своё видение идеальной кластерной системы. Такая система должна иметь только одну систему соединений на все компоненты, причём, любое соединение будет коммутируемым. Все протоколы будут скрыты под программной частью и полностью прозрачны для разработчика ПО. К этому стремится его команда разработчиков, но в реальном мире приходится довольствоваться сразу тремя типами соединений, но с прозрачностью дела идут неплохо, за исключением редких случаев. Тем не менее, он отметил, что с использованием Intel Omni-Path требуются некоторые усовершенствования в ЦП. Главная задача разработчиков Tsubame 3 на сегодняшний момент - добиться полной синхронности в работе всех трёх подсистем: Omni-Path, PCIe и NVLink. Разработчики оптимизируют соответствующие алгоритмы и улучшают их масштабируемость. Команде профессора Сатоши Мацуока помогают дружественные разработчики из Университета штата Огайо.

Постоянный URL: http://servernews.ru/957891
19.06.2017 [21:20], Иван Грудцын

РСК продемонстрировала на ISC 2017 свои передовые решения

На проходящей в эти дни выставке-конференции ISC 2017 (г. Франкфурт-на-Майне, Германия) российская группа компаний РСК представила ряд инновационных продуктов, в частности универсальное высокоплотное решение «РСК Торнадо» с СЖО на «горячей воде», коммутаторы Intel Omni-Path с жидкостным охлаждением и обновленный программный стек «РСК БазИС» для управления кластерами.

Сверхплотное масштабируемое кластерное решение «РСК Торнадо» оборудовано системой прямого жидкостного охлаждения, которая охватывает все элементы вычислительного шкафа, в том числе коммутаторы высокоскоростной сети. Вычислительная система использует потенциал 72-ядерного процессора Intel Xeon Phi 7290, и именно ей принадлежит мировой рекорд вычислительной плотности для архитектуры x86 — 1,41 Пфлопс на шкаф или свыше 490 Тфлопс/м³. В состав узлов «РСК Торнадо» входят 16-ядерные процессоры Intel Xeon E5-2697А v4 (Broadwell-EP), серверные платы Intel S7200AP для Xeon Phi и Intel S2600KPR для Xeon, твердотельные накопители Intel SSD DC S3520, DC P3520 Series и Optane DC P4800X.

В одном стандартном шкафу типоразмера 19" 42U (800 × 800 мм) можно разместить до 153 узлов «РСК Торнадо». Для их охлаждения достаточно СЖО, работающей в режиме «горячая вода»: температура хладоносителя на входе в вычислительные узлы и коммутаторы может достигать 65 °C. Отсутствие потребности во фреоновом контуре и чиллерах позволяет уменьшать затраты на охлаждение до 6 % в структуре общих затрат на электроэнергию.

Отметим, что следующее поколение кластеров «РСК Торнадо» готово к поддержке серверных процессоров Intel Xeon семейства Skylake-SP, дебют которых ожидается во второй половине текущего года.

Помимо «Торнадо», специалисты РСК продемонстрировали на ISC 2017 первый в мире охлаждаемый с помощью жидкости в режиме «горячая вода» 48-портовый коммутатор Intel Omni-Path Edge Switch 100. Устройство предназначено для построения высокоскоростных межузловых соединений со скоростью неблокируемой коммутации до 100 Гбит/c на порт.

Архитектура Intel Omni-Path (OPA) является комплексным решением для высокоскоростной коммутации и передачи данных. С её помощью достигается значительный рост производительности приложений в HPC при минимальных затратах. При одинаковом бюджете Intel OPA позволяет подключать на 26 % больше серверов по сравнению с существующими решениями, а также снизить энергопотребление вплоть до 60 %.

Анонсированный на ISC 2017 обновлённый интегрированный программный стек «РСК БазИС» предназначен для управления и мониторинга кластерных систем. «БазИС» — открытая и легко расширяемая платформа на основе ПО с открытым исходным кодом и микроагентной архитектуры. Она позволяет управлять центрами обработки данных и их отдельными элементами — вычислительными узлами, коммутаторами, инфраструктурными компонентами, задачами и процессами. На стенде РСК на ISC 2017 демонстрировались новые функции «БазИС» по мониторингу и управлению территориально распределённых ЦОД.

Напомним, что в начале июня решения РСК были представлены на конференции IXPUG Russia 2017.

Постоянный URL: http://servernews.ru/954184
19.11.2014 [14:12], Алексей Степин

Intel объявляет войну технологии InfiniBand

Технология InfiniBand, обеспечивающая высокую скорость передачи данных с минимальными задержками, не слишком известна рядовому пользователю, но в мире кластеров и суперкомпьютеров она, без преувеличения, является основной средой. Современные реализации InfiniBand легко демонстрируют скорости до 300 Гбит/с (EDR), а в недалёком будущем, с внедрением стандарта HDR, производительность вырастет до 600 Гбит/с. И всё это при латентности порядка 0,5 микросекунды. Физически InfiniBand может использовать как традиционные медные кабеля, так и оптоволоконные.

Пример 100-гигабитного адаптера InfiniBand

Пример 100-гигабитного адаптера InfiniBand: простота реализации означает приемлемую стоимость

Тем не менее, корпорация Intel, похоже, решила объявить стандарту InfiniBand настоящую войну, противопоставив ей свою технологию межузловых соединений Omni-Path. Если верить имеющейся на данный момент информации, Omni-Path, работая на скорости 100 Гбит/c, имеет на 56 % более низкие задержки, нежели аналогичная реализация InfiniBand. Кроме того, Intel уже имеет в своём арсенале коммутационный процессор Omni-Path, способный обслуживать 48 портов, в то время, как текущее поколение коммуникаторов InfiniBand ограничено 36 портами на чип.

Преимущества Omni-Path по мнению Intel

Преимущества Omni-Path по мнению Intel

Intel планирует активное продвижение оптической технологии Omni-Path на рынок суперкомпьютеров, и это наступление имеет шансы увенчаться успехом: во-первых, Omni-Path обладает обратной совместимостью с инфраструктурой Intel TrueScale, базирующейся на InfiniBand, а, во-вторых, о поддержке Omni-Path уже объявили такие профильные компании, как TE, Altair, Bright Computing, Ansys, ESI, E4, FlowScience, MSC Software, Icon, SUSE и RedHat. Новая среда разрабатывается с учётом поддержки новых ускорителей Xeon Phi под кодовым именем Knights Landing. Они появятся во второй половине следующего года и будут способны развивать мощность свыше 3 терафлопс. Первыми суперкомпьютерами, использующими Knights Landing, станут Лос-Аламосский Trinity и система Cori, заказанная министерством экономики США.

Говорить о капитуляции InfiniBand рано, если вообще имеет смысл: технология хорошо освоена и имеет развитую инфраструктуру. Кроме того, она тоже будет развиваться. Появятся коммутаторы с большим количеством портов, будут внедрены более высокие скорости передачи данных. Так что мы бы не рискнули поставить в этой гонке на скорую победу Intel. Война может оказаться довольно затяжной.

Постоянный URL: http://servernews.ru/905407
Система Orphus