Монолитная компоновка для современных сложных чипов уже становится слишком неэффективной. Бороться с этим можно по-разному. Один из путей подразумевает интеграцию всё более сложных структур на уровне единой кремниевой подложки, а другой — использование мультичиповой (MCM) или, иначе говоря, чиплетной компоновки. К последнему варианту и склоняется NVIDIA, хотя причины несколько отличаются от тех, которыми руководствуются другие вендоры.

GPU и ускорители становятся сложнее гораздо быстрее CPU, и на текущий момент мощные вычислители для ЦОД подбираются к пределам возможностей основных контрактных производителей, таких как TSMC и Samsung. Но это только половина уравнения. Вторая заключается в том, что взрывная популярность систем и алгоритмов машинного интеллекта требует иных вычислительных возможностей, нежели более привычные HPC-задачи.

Дивергенция GPU: вычислительный (сверху) и машинного обучения. (Изображения: NVIDIA)

Как следствие, разработчикам приходится делать выбор, чему в большей мере отдать предпочтение в компоновке новых поколений ускорителей: FP32/64-движкам или блокам, оптимизированным для вычислений INT8, FP16 и прочих специфических форматов. И здесь использование MCM позволит скомпоновать конечный продукт более гибко и с учётом будущей сферы его применения.

Различиые варианты конфигурации в рамках NVIDIA COPA

Ещё в публикации NVIDIA от 2017 года было доказано, что компоновка с четырьмя чиплетами будет на 45,5% быстрее самого сложного на тот момент ускорителя. А в 2018-м компания рассказала о прототипе RC 18. В настоящее время известно, что технология, разрабатываемая NVIDIA, носит название Composable On Package GPU, но в отличие от прошлых исследований упор сделан на обкатке концепции различных составных ускорителей для сфер HPC и машинного обучения.

Симуляция гипотетического ускорителя GPU-N, созданного на основе 5-нм варианта дизайна GA100, показывает довольно скромные результаты в режиме FP64 (12 Тфлопс, ½ от FP32), но четыре таких чиплета дадут уже солидные 48 Тфлопс, сопоставимые с Intel Ponte Vecchio (45 Тфлопс) и AMD Aldebaran (47,9 Тфлопс). А вот упор на FP16 делает даже один чип опаснейшим соперником для Graphcore, Groq и Google TPU — 779 Тфлопс!

Варианты упаковки будущих МСМ-процессоров NVIDIA

Но симуляции показывают также нехватку ПСП именно на ИИ-задачах, так что компания изучает возможность иной иерархии памяти, с 1-2 Гбайт L2-кеша в виде отдельных чиплетов в различных конфигурациях. Некоторые варианты предусматривают даже отдельный ёмкий кеш L3. Таким образом, будущие ускорители с чиплетной компоновкой обретут разные черты для HPC и ИИ.

В первом случае предпочтение будет отдано максимальной вычислительной производительности, а подсистема памяти останется классической. Как показывает симуляция, даже урезанная на 25% ПСП снижает производительность всего на 4%. Во втором же варианте, для ИИ-систем, упор будет сделан на чипы сверхъёмкого скоростного кеша и максимизацию совокупной пропускной способности памяти. Такая компоновка окажется дешевле, нежели применение двух одинаковых ускорителей.

Подробнее с исследованием NVIDIA можно ознакомиться в ACM Digital Library, но уже сейчас ясно, что в обозримом будущем конвергенция ускорителей перейдёт в дивергенцию, и каждая эволюционная ветвь, благодаря MCM, окажется эффективнее в своей задаче, нежели полностью унифицированный чип.

Облачная платформа Amazon Web Services (AWS) объявила об общедоступности EC2-инстансов Hpc6a. Это инстансы нового типа, специально созданные для высокопроизводительных вычислений (HPC) в облаке. Как утверждает AWS, новинки на базе процессоров AMD EPYC 3-го поколения (Milan) обеспечивают до 65 % лучшее соотношение цены и производительности по сравнению с аналогичными HPC-инстансами прошлых поколений.

Hpc6a делают масштабирование HPC-кластеров в AWS ещё более экономичным, позволяя выполнять наиболее ресурсоёмкие рабочие нагрузки, такие как геномика, вычислительная гидродинамика, прогнозирование погоды, молекулярная динамика, вычислительная химия, моделирование финансовых рисков, автоматизированное проектирование и т. д. Используя Hpc6a, клиенты смогут с меньшими затратами решать свои самые большие и сложные академические, научные и бизнес-задачи при оптимальном соотношении цены и качества.

Источник изображения: AMD

Инстансы Hpc6a по умолчанию используют Elastic Fabric Adapter (EFA), благодаря чему обеспечивается низкая задержка, низкий джиттер и пропускная способность сети до 100 Гбит/с, что повышает эффективность работы и ускоряет получение результатов для рабочих нагрузок, активно задействующих обмен данными между экземплярами. Заказчикам доступен инструмент AWS ParallelCluster для управления кластерами с Hpc6a и инстансами других типов, что обеспечивает гибкость для запуска различных типов рабочих нагрузок.

Hpc6a имеют до 96 vCPU с частотой до 3,6 ГГц (All-Turbo) и до 384 Гбайт RAM. Для хранения данных предлагаются стандартные EBS-тома, а также Amazon FSx for Lustre. Использование AWS Nitro в Hpc6a обеспечивает высокую производительность, высокую доступность и повышенную безопасность. Hpc6a доступны в виде инстансов по запросу или зарезервированных инстансов, а также в рамках планов Savings. Экземпляры Hpc6a.48xlarge уже доступны в регионе us-east-2 (Огайо, США) по цене $2,88/час и в GovCloud (us-west).

Компания NVIDIA сообщила о заключении соглашения по приобретению фирмы Bright Computing, разработчика специализированных программных продуктов для управления кластерами. О сумме сделки ничего не сообщается.

Bright Computing была выделена из состава нидерландской ClusterVision в 2009 году; последняя после банкротства в 2019 году была поглощена Taurus Group. Штаб-квартира Bright Computing базируется в Амстердаме. Основным направлением деятельности компании является разработка инструментов, позволяющих автоматизировать процесс построения и управления Linux-кластерами.

Источник изображения: Bright Computing

В число клиентов Bright Computing входят более 700 корпораций и организаций по всему миру. Среди них упоминаются Boeing, Siemens, NASA, Университет Джонса Хопкинса и др. Отмечается, что NVIDIA и Bright сотрудничают уже более десяти лет. Речь идёт об интеграции ПО с аппаратными платформами и другими продуктами NVIDIA.

Поглощение Bright Computing, как ожидается, позволит NVIDIA предложить новые решения в области НРС, которые будут отличаться относительной простотой развёртывания и управления. Эти решения могут применяться в дата-центрах, в составе различных облачных платформ и edge-систем. В рамках сделки вся команда Bright Computing присоединится к NVIDIA.

Инвестиционный фонд Digital 9 Infrastructure (D9) из Великобритании сообщил о намерении вложить $93 млн в исландского оператора ЦОД Verne Global. D9, контролируемый Triple Point Investment Management, приобрёл Verne Global осенью прошлого года. Сумма сделки составила £231 млн, или приблизительно $320 млн.

В настоящее время Verne Global оперирует комплексом ЦОД мощностью 24 МВт на территории бывшего объекта НАТО в Кеблавике на полуострове Рейкьянес в юго-западной Исландии. Кроме того, на этапе строительства находится площадка мощностью приблизительно 8 МВт.

Источник изображений: Verne Global

Как сообщается, инвестиции в размере $93 млн в течение ближайших 12 месяцев будут использованы для расширения мощностей ЦОД. Речь идёт о завершении создания упомянутой площадки на 8,2 МВт, а также о вводе в эксплуатацию дополнительных 12,5 МВт мощностей для удовлетворения спроса со стороны корпоративных клиентов.

Ожидается, что кампус на 8,2 МВт начнёт приносить выручку в III квартале нынешнего года. Работы над вторым проектом планируется завершить в начале 2023 года. После этого суммарная ёмкость ЦОДов в Кеблавике составит около 40 МВт из 100 возможных.

В последний официальный рабочий день системы Blue Waters Национальный центр суперкомпьютерных приложений (NCSA) США «поприветствовал» её преемника — суперкомпьютер Delta, который станет самой производительной GPU-системой в портфолио Национального научного фонда (NSF) страны.

Новую систему разместит у себя Иллинойский университет в Урбане-Шампейне (UIUC). Суперкомпьютер, как обещают авторы проекта, получит сбалансированную конфигурацию с современными GPU и CPU. Он будет интегрирован в национальную систему кибербезопасности, а его ресурсы будут доступны учёным посредством XSEDE и SGCI (Science Gateways Community Institute). Желающие смогут получить помощь в портировании кода с CPU на GPU, но и запуск «старых» приложений будет упрощён.

Фото: Twitter/NCSAatIllinois

Суперкомпьютер планируется ввести в эксплуатацию в 2022 году. Delta получит 330 вычислительных узлов и ещё восемь сервисных. Все узлы первого типа получат 64-ядерные процессоры AMD EPYC Milan с частотой 2,55 ГГц. На текущий момент их конфигурация такова:

• 124 CPU-узла: 2 × CPU, 256 Гбайт DDR4-3200, 800 Гбайт NVMe SSD;
• 100 GPU-узлов NVIDIA I типа: 4 × NVIDIA A100 (40 Гбайт HBM2) с NVLink, 1 × CPU, 256 Гбайт DDR4-3200, 1,6 Тбайт NVMe SSD;
• 100 GPU-узлов NVIDIA II типа: 4 × NVIDIA A40 (48 Гбайт GDDR6), 1 × CPU, 256 Гбайт DDR4-3200, 1,6 Тбайт NVMe SSD;
• 5 GPU-узлов NVIDIA III типа: 8 × NVIDIA A100 (40 Гбайт HBM2) с NVLink, 2 × CPU, 2 Тбайт DDR4-3200, 1,6 Тбайт NVMe SSD;
• 1 GPU-узел AMD: 8 × Instinct MI100 (32 Гбайт HBM2), 2 × CPU, 2 Тбайт DDR4-3200, 1,6 Тбайт NVMe SSD.

Система получит 3-Пбайт быстрое All-Flash хранилище, которое будет развёрнуто весной 2022 года, а также 7-Пбайт хранилище Lustre. Основным интерконнектом станет HPE SlingShot (100 Гбит/с).

Пользователи суперкомпьютера Киотского университета лишились 77 Тбайт информации из-за сбоя в работе системы резервного копирования, который произошёл по вине японского подразделения HPE. Из-за ошибки было потеряны данные за 1,5 дня работы — более 34 млн файлов. В результате инцидента пострадали данные 14 групп пользователей, для четырёх из которых информация утеряна безвозвратно.

Сбой произошёл ещё две недели назад, а вчера администрация университета опубликовала сообщение, в котором раскрыла детали произошедшего и принесла глубокие извинения пользователям за неудобство и возможный ущерб. Ошибка, судя по всему, произошла из-за невнимательности при обновлении bash-скрипта, участвующего в процессе резервного копирования и удаляющего журналы старше 10 дней.

Изображение: gizchina.com

Обновлённая версия скрипта была записана поверх старого варианта в тот момент, когда он уже выполнялся. По словам HPE, которая признала проблему после её изучения, значения переменных были утеряны, а новая версия скрипта была загружена с середины, что и привело к удалению файлов, а не связанных с ними журналов. При этом стандартных мер, которые смогли воспрепятствовать такому поведению (проще говоря, остановка выполнения скрипта с сообщением об ошибке), видимо, принято не было.

Суперкомпьютерная группировка Киотского университета. Изображение: monitaana.com

На текущий момент система резервного копирования приостановлена, а возобновление её работы запланировано на конец января 2022 г. после устранения проблем в ПО и принятия мер по предотвращению повторения случившегося. В будущем планируется использовать не только резервное копирование посредством зеркалирования, но и внедрение дополнительной, более совершенной системы инкрементальных бэкапов. Специалисты центра будут работать над улучшением не только функциональности, но и управляемости системы, чтобы минимизировать риски.

Национальный центр суперкомпьютерных приложений (NCSA) и Иллинойский университет в Урбане-Шампейне (UIUC) планируют вывести суперкомпьютер Blue Waters из эксплуатации к концу этого года. Запущенный в начале 2013 года Blue Waters с максимальной производительностью 13,3 Пфлопс долгое время был самым быстрым университетским суперкомпьютером в мире.

В 2019 году пальму первенства отобрал суперкомпьютер Frontera в Техасском центре передовых вычислений (TACC) в Остине (США). На смену Blue Waters придётся суперкомпьютер Delta, который NCSA намерен ввести в строй в начале 2022 года. Blue Waters известен тем, что заказчики и создатели публично отказались от участия в рейтинге TOP500, объяснив это тем, что LINPACK не отражает реальные потребности и задачи научного сообщества.

Изначально планировалось, что Blue Water будет запущен в 2011 году при финансовой поддержке Национального научного фонда (NSF), выделившего грант в размере $208 млн. Но систему на основе IBM POWER7 пришлось переработать в связи с тем, что сделка с IBM была отменена, так как та посчитала, что её затраты на реализацию проекта могли превысить её первоначальные расчёты.

Источник изображения: ncsa.illinois.edu

Чтобы спасти проект, в том же году была привлечена Cray (ныне часть HPE), которая в конечном итоге укомплектовала систему 49 тыс. CPU AMD, 1,5 Пбайт RAM и 26,5 Пбайт СХД. Система была запущена в 2013 году в центре National Petascale Computing Facility в UIUC, построенном на средства штата Иллинойс, выделившем на это $65 млн. В центре обработки данных площадью 8200 м² размещены и другие суперкомпьютеры NCSA.

Затем NSF выделил университету и NCSA $150 млн на поддержку работы суперкомпьютера в течение пяти лет, но университету удалось обеспечить работу системы сверх этого срока. В 2019 году Национальное агентство геопространственной разведки (NGA) предоставило финансирование работы Blue Waters в течение ещё двух лет, при этом контракт с ним истекает в конце декабря 2021 года.

За девять лет с помощью Blue Waters удалось создать цифровые карты высот всей Земли, изучить природу чёрных дыр и гравитационных волн, изучить такие вирусы, как Covid, ВИЧ, Zika и грипп, а также многое другое. Помимо научных и технических достижений, прямой экономический эффект от проекта Blue Waters только для штата Иллинойс составил $1,1 млрд, не говоря уже о пользе для всей страны.

Консорциум EuroHPC объявил новый тендер на покупку суперкомпьютера MareNostrum 5. Он должен прийти на замену MareNostrum 4, а сделка изначально должна была завершиться ещё в конце 2020 года. Однако по состоянию на март текущего года она оставалась в «подвешенном» состоянии, а летом её и вовсе отменили.

Напомним, что все проекты софинансируются EuroHPC и страной, где будет размещена очередная система. В данном случае стороны не смогли договориться о поставщике. Испания получила более выгодное предложение от IBM/Lenovo, а EuroHPC хотел обратиться к компании Atos, что помогло бы развитию европейских HPC-решений. Публично же участники процесса объяснили задержки изменениями в спецификациях системы. В результате тендер отменили.

Суперкомпьютер MareNostrum 4 (Фото: Barcelona Supercomputing Center)

Сам суперкомпьютер производительностью не менее 205 Пфлопс (ранее говорилось о 200 Пфлопс) должен разместиться в Барселонском суперкомпьютерном центре (BSC). Он поможет ускорить медицинские исследования, разработку вакцин, создание ИИ-приложений и работу с Big Data. Сам суперкомпьютер будет гетерогенным и получит быстрое хранилище ёмкостью от 204 Пбайт, со скоростью чтения 1,6 Тбайт/сек и записи — 1,2 Тбайт/сек.

EuroHPC планирует начать установку MareNostrum5 в III квартале 2022 года — к концу года будут готовы, как минимум, системы вычислений и хранения данных. При этом некие технологии «следующего поколения», о которых много говорилось ранее, станут доступны только в 2023 году. Тендер также предполагает, что MareNostrum5 будет энергоэффективным (PUE менее 1,08), получать «зелёную» электроэнергию и отдавать «мусорное» тепло.

Как и в случае с другими закупками, половина затрат будет покрыта EuroHPC, а другая — будет оплачена странами-участниками (Испания, Португалия и Турция). Отметим, что пару лет назад EuroHPC объявил о планах закупить и развернуть восемь новых систем: пять петафлопсного класса и ещё три мощностью до 1 Эфлопс. Первая крупная из них (Vega) уже попала в TOP500. В 2022 году ожидается ввод в строй машин LUMI и Leonardo.

Французский стартап LightOn успешно интегрировал один из своих оптических блоков обработки данных (Optical Processing Unit, OPU) в самый производительный академический суперкомпьютер страны Jean Zay. Работа выполнена в рамках пилотной программы Национального агентства по высокопроизводительным вычислениям (GENCI) совместно с Институтом развития и ресурсов в области интенсивных научных вычислений (IDRIS).

Работая в тандеме со стандартными серверными CPU и ускорителями NVIDIA A100, оптический сопроцессор должен значительно повысить скорость выполнения и снизить энергопотребление ресурсоёмких задач в области машинного обучения (МО) и ИИ. Избранные пользователи Jean Zay смогут протестировать OPU уже в ближайшие месяцы.

Суперкомпьютер Jean Zay (Фото: Cyril Fresillon/IDRIS/CNRS Photothèque)

По словам разработчиков, преимущества OPU обусловлены применением фотоники для ускорения выполнения вероятностных алгоритмов на задачах сверхбольшого масштаба. Такой подход просто необходим, когда точные вычисления чрезвычайно сложны и затратны. Например, для обучения модели GPT-3 требуется порядка 3 млн GPU-часов на ускорителях NVIDIA V100. Вероятностные методы (RandNLA) позволяют получать приближённые, но достаточные для практического применения результаты за меньшее время путём различных матричных преобразований.

Вероятностные проекции с небольшим линейным коэффициентом предварительной и постобработки, иллюстрация LightOn

Однако работа с массивами больших размерностей, а именно такие и нужны современным ИИ-моделям, требует значительных вычислительных ресурсов в случае «классических» CPU или GPU, а также огромных массивов памяти. Устройства LightOn обходят это «узкое» место за счёт использования пространственных модуляторов света и ПЗС-матриц. Они уже могут работать с массивами на триллион элементов.

Вычисления с помощью фотоники, иллюстрация: Igor Carron, LightOn

При частотах обновления матрицы порядка килогерц эквивалентная производительность достигает уровня 1,5 квадриллиона операций в секунду (1,5 Петаопс), а потребляемая мощность при этом составляет всего 30 Вт. OPU выполняет необходимые преобразования в пассивном режиме за счёт физических особенностей самого устройства, разгружая тем самым основные ресурсы суперкомпьютера (пред- и постобработка данных всё равно выполняется CPU/GPU) и повышая общую энергоэффективность системы.

Первая итерация с использованием физики, иллюстрация: Igor Carron, LightOn

Первые коммерчески доступные OPU Aurora2 в 2U-шасси компания предлагает в аренду с весны этого года. Jean Zay станет первой машиной из TOP500, в которой будут установлены эти сопроцессоры. В компании ожидают повышение ИИ-производительности системы в 8-40 раз по сравнению с вычислениями только на GPU. По словам генерального директора LightOn, Игоря Каррона (Igor Carron), такая интеграция ИИ-ускорителей в HPC-системы укрепит уверенность исследователей в том, что следующей вехой цифровой эволюции после экзафлопсных суперкомпьютеров станут гибридные решения.

Европейский консорциум EuroHPC JU сообщил о старте двух конкурсов для будущего проекта. В них могут принять участие площадки, которым интересны размещение и эксплуатация новых суперкомпьютеров. Среди них будет одного система экзафлопсного класса и несколько машин среднего уровня. После отбора заявок между EuroHPC и площадками будет подписано партнёрское соглашение.

Заявитель может представлять одно государство или консорциум нескольких государств, которым интересна тематика суперкомпьютерных вычислений. Следуем отметить, что к такого рода площадкам предъявляются особые требования с точки зрения систем энергообеспечения и охлаждения, а также квалификации обслуживающего персонала.

exdci.eu

Финансирование проекта будет идти от EuroHPC JU за счёт бюджетных программ Digital Europe Programme (DEP) и Horizon Europe (HE), а также взносов со стороны участников консорциума. Организация готова оплатить до 50% от общей стоимости суперкомпьютера высокого класса, но не более €250 млн. Для систем среднего уровня условия иные — компенсируется до 35% от общей стоимости суперкомпьютеров и с общим максимальным вкладом до €120 млн.