Человечество преуспело в гонке за экзафлопсами. Следующий барьер лежит в области 1 Зфлопс, что потребует нарастить производительность ещё на три порядка. Но вместе с производительностью растёт и потребляемая мощность. Перспективам такого роста был посвящён доклад главы AMD, Лизы Су (Lisa Su), сделанный на конференции ISSCC.

Компания не слишком оптимистична в своих оценках: хотя статистика говорит, что с 1995 года производительность HPC-систем удваивалась примерно каждые 1,2 года, удельная энергоэффективность Гфлопс/Вт росла куда медленнее — цикл удвоения составляет 2,2 года. Сегодня TOP500 возглавляет Frontier с показателями 1,102 Эфлопс и 21,1 МВт. При сохранении данного уровня энергоэффективности достижение 1 Зфлопс потребует 21 ГВт. То есть для его питания потребуется 21 энергоблок АЭС, мощностью 1000 МВт каждый.

Источник здесь и далее: HPCWire

Даже при сохранении существующего темпа увеличения энергоэффективности к 2035 году этот показатель достигнет лишь 2140 Гфлопс/Вт, так что гипотетический зетта-кластер всё равно потребует 500 МВт. Вряд ли можно назвать практичным суперкомпьютер, требующий для себя отдельный энергоблок АЭС. В качестве реалистичной цифры было названо 100 МВт, что требует эффективности порядка 10000 Гфлопс/Вт. Достичь её будет непросто: на слайдах, показанных AMD, видно, что одного прогресса в техпроцессах явно будет недостаточно.

Потребуются существенные архитектурные оптимизации, массовый переход на чиплетные технологии, совершенствование интерконнекта, а также оптимизация аппаратной и программной части на основе ИИ. Подсистема памяти не просто вырастет в объёмах, но и станет «умной» благодаря переносу части вычислений на уровень DRAM. Здесь AMD активно сотрудничает с таким крупным производителем, как Samsung Electronics — компании уже создали уникальный ИИ-суперкомпьютер, скрестив «умную» память HBM-PIM и ускорители Instinct, и развивают SmartSSD.

Неплохим примером комплексного подхода к решению вышеописанной проблемы, по мнению AMD, является APU Instinct MI300, который уже совсем скоро станет основой самых мощных суперкомпьютеров. Впрочем, пока что загадывать наперёд спешат не все специалисты. Так, США готовятся к созданию суперкомпьютеров производительностью от 10–20 Эфлопс, которые будут потреблять 20–60 МВт. А некоторые и вовсе считают, что будущие экзафлопсные HPC-системы и вовсе станут последними в своём роде.

Южная Корея — одна из стран, наиболее активно вкладывающих массу ресурсов в развитие собственной суперкомпьютерной инфраструктуры, в том числе, в разработку собственных процессоров и ускорителей. Уделяет она серьёзное внимание и модернизации существующих HPC-систем, что актуально в свете бурного развития ИИ, особенно нейросетевых языковых моделей.

Крупный южнокорейский телеком-провайдер, компания SK Telecom объявила серьёзной модернизации суперкомпьютера Titan, который является «мозгом» для ИИ-модели Aidat (A dot) — корейского варианта знаменитой GPT-3. Впервые эта сеть дебютировала в мае прошлого года в качестве ИИ-помощника SK, помогающего с рекомендациями для выбора аудио- и видеоконтента владельцам смартфонов.

Источник: SK Telecom

Titan не имеет отношения к уже демонтированному кластеру Окриджской национальной лаборатории — это система, базирующаяся на серверах HPE Apollo 6500 с процессорами AMD EPYC 7763 (64C/128T, 2,45 ГГц) и в ноябре 2022 года занявшая 92 место в TOP500 с результатом 6,29 Пфлопс. Суперкомпьютер использует ускорители NVIDIA A100 (80 Гбайт) и интерконнект InfiniBand HDR.

Деталей о обновлении системы SK Telecom практически не раскрывает, но известно, что количество ускорителей доведено до 1040, и это позволило достичь модернизированному кластеру пиковой производительности на уровне 17,1 Пфлопс, что более чем вдвое превосходит предыдущий показатель. Компания отмечает, что апгрейд позволит использовать ещё более сложные модели, что должно улучшить качество ответов Aidat.

Компания Atos объявила о заключении контракта на создание и установку нового высокопроизводительного комплекса для Общества научных исследований имени Макса Планка. В основу системы ляжет суперкомпьютерная платформа BullSequana XH3000 с новейшими процессорами AMD EPYC и ускорителями Instinct. Стоимость проекта превышает €20 млн.

Суперкомпьютер будет эксплуатироваться Вычислительным и информационным центром Общества Макса Планка (MPCDF) в Гархинге недалеко от Мюнхена (Германия). Систему планируется применять для решения задач в области астрофизики, биологических исследований, разработки передовых материалов, физики плазмы и технологий ИИ.

Комплекс получит систему прямого жидкостного охлаждения (DLC) без вентиляторов. Коэффициент эффективности использования энергии (PUE) составит менее 1,05, что намного ниже по сравнению с другими HPC-установками. В суперкомпьютере будут применяться чипы AMD EPYC Genoa и ускорители Instinct MI300A. Система будет включать 768 процессорных узлов и 192 узла с ускорителями. В состав комплекса войдёт хранилище IBM SpectrumScale.

Источник изображения: Atos

Узлы CPU планируется поставить в III квартале 2023 года, тогда как развёртывание узлов с ускорителями ожидается в первой половине 2024 года. По производительности новый суперкомпьютер в три раза превзойдёт нынешний комплекс Cobra, который используется в MPCDF и также базируется на технологиях Atos. Его пиковое быстродействие достигает 11,4 Пфлопс.

Корпорация IBM анонсировала HPC-систему под названием Vela — это облачный суперкомпьютер, оптимизированный для задач ИИ. В основу положены процессоры Intel Xeon Cascade Lake, а также ускорители NVIDIA. Сообщается, что Vela заработала ещё в мае 2022 года. Она базируется на облачной платформе IBM Cloud, но в настоящее время суперкомпьютер предназначен для использования только исследовательским сообществом IBM.

Каждый из узлов комплекса оснащён двумя процессорами Intel Xeon Cascade Lake (в данном случае IBM отказалась от собственных чипов POWER10) и восемью ускорителями NVIDIA A100 (80 Гбайт). Объём оперативной памяти составляет 1,5 Тбайт. Задействованы четыре NVMe SSD, каждый вместимостью 3,2 Тбайт. Каждая пара ускорителей подключена посредством двух 100GbE-интерфейсов к ToR-коммутатору, каждый из которых, в свою очередь, через два канала 100GbE соединён с магистральными коммутаторами.

При создании системы IBM сделала выбор в пользу конфигурации на основе виртуальных машин (ВМ). Утверждается, что хотя «голое железо» предпочтительнее для достижения максимальной производительности, подход с применением ВМ даёт большую гибкость. Использование виртуальных машин, в частности, обеспечивает возможность динамического масштабирования кластеров ИИ и перераспределения ресурсов. При этом создателям удалось снизить «штраф» к производительности до менее чем 5 %.

Источник изображения: IBM

В состав Vela входят 60 стоек. Если верить диаграмме выше, каждая стойка содержит шесть узлов, что в сумме даёт 360 узлов и 2880 ускорителей NVIDIA A100. Система изначально интегрирована в среду IBM Cloud VPC, а это означает, что ИИ-нагрузки могут задействовать любые из более чем 200 сервисов IBM Cloud. В перспективе на базе Vela могут быть созданы другие суперкомпьютеры. «Хотя эта работа проделана с прицелом на обеспечение производительности и гибкости для крупномасштабных рабочих нагрузок ИИ, инфраструктура была разработана таким образом, чтобы её можно было развернуть в любом из наших мировых дата-центров любого масштаба», — заявляет IBM.

Государственное агентство по развитию информационных технологий (KIFU) объявило о запуске суперкомпьютера Komondor в кампусе Дебреценского университета (Венгрия). Это самый мощный венгерский вычислительный комплекс: его производительность достигает почти 5 Пфлопс. Стоимость проекта оценивается в $12,8 млн. В основу положены платформа HPE Cray EX и 100G-интерконнект (Slingshot 11). Тестирование суперкомпьютера началось в сентябре 2022 года.

Архитектура Komondor предполагает наличие CPU- и GPU-разделов, а также специализированного блока для задач ИИ и аналитики данных. Раздел CPU объединяет 140 узлов, каждый из которых содержит два процессора AMD EPYC 7763 (64 ядра; 2,45–3,50 ГГц; 256 Мбайт кеша L3; 280 Вт): суммарная производительность данного сегмента составляет 0,7 Пфлопс. GPU-составляющая включает 50 узлов на чипах EPYC 7763: каждый из узлов наделён четырьмя ускорителями NVIDIA A100, а общее быстродействие равно 4 Пфлопс.

Источник изображения: KIFU

Кроме того, в состав системы включены ИИ-блок и модуль Big Data. Первый состоит из двух узлов HPE Apollo 6500 Gen10, содержащих по два процессора EPYC 7763 и по восемь ускорителей NVIDIA A100. Второй модуль использует узел SMP/NUMA с 12 процессорами Intel Xeon Gold 6254 (18 ядер; 3,1–4,0 ГГц; 200 Вт). Суперкомпьютер также имеет хранилище на 10 Пбайт.

Тепло, генерируемое вычислительным комплексом, будет использоваться для обогрева близлежащего муниципального бассейна. Около трёх четвертей ресурсов системы будут доступны исследователям по всей стране, а остальная часть — бизнесу. Заявленная потребляемая мощность — около 300 кВт. В ноябрьском рейтинге TOP500 суперкомпьютер Komondor находится на 199-й позиции.

Министр науки, технологий и инноваций Аргентины Даниэль Фильмус (Daniel Filmus) и министр обороны страны Хорхе Тайана (Jorge Taiana) рассказали о новом комплексе высокопроизводительных вычислений, который планируется ввести в эксплуатацию весной 2023 года. Безымянный пока суперкомпьютер расположится в вычислительном центре Национальной метеорологической службы Аргентины. Созданием системы занимаются специалисты Lenovo. Отличительной особенностью системы станет то, что они будет использовать исключительно процессоры и ускорители Intel Max.

Комплекс объединит 5120 ядер процессоров Intel Max (HBM-версии чипов Xeon Sapphire Rapids) суммарной производительностью около 440 Тфлопс. Кроме того, будут задействованы 296 ускорителей Intel Max (Ponte Vecchio) с общим быстродействием 15,3 Пфлопс. Таким образом, пиковая производительность суперкомпьютера в целом составит примерно 15,7 Пфлопс. С таким показателем он мог бы претендовать на 82-е место в нынешнем рейтинге TOP500. Система получит 1,66 Пбайт памяти, 400G-сеть и систему прямого жидкостного охлаждения. Потребляемая мощность составит приблизительно 233 кВт.

Источник изображения: Intel

Суперкомпьютер планируется применять для широкого спектра научных задач, таких как разработка лекарственных препаратов, биоинформатика, наука о данных, искусственный интеллект и моделирование атмосферы. Нужно отметить, что сейчас Национальная метеорологическая служба Аргентины использует HPC-систему Huayra Muyu с пиковым быстродействием 370 Тфлопс.

Концепция вычислений в памяти (in-memory computing) имеет ряд преимуществ при построении HPC-систем, и компания Samsung сделала в этой области важный шаг. Впервые на практике южнокорейский гигант совместил в экспериментальном суперкомпьютере свои чипы in-memory с ускорителями AMD Instinct. Согласно заявлениям Samsung, такое сочетание даёт существенный прирост производительности при обучении «тяжёлых» ИИ-моделей. При этом улучшаются и показатели энергоэффективности.

Новая система насчитывает 96 ускорителей AMD Instinct MI100, каждый из которых дополнен фирменной памятью HBM-PIM с функциями processing-in-memory. В состав системы входит 12 вычислительных узлов с 8 ускорителями в каждом. Шестёрка узлов связана с другой посредством коммутаторов InfiniBand. Используется 16 линков со скоростью 200 Гбит/с.

Здесь и далее источник изображений: Samsung

Кластер Samsung нельзя назвать рекордсменом, но результаты получены весьма обнадёживающие: в задаче обучения языковой модели Text-to-Test Transfer Transformer (T5), разработанной Google, использование вычислительной памяти позволило снизить время обучения в 2,5 раза, а потребление энергии при этом сократилось в 2,7 раза.

Технология весьма дружественна к экологии: по словам Samsung, такой кластер с памятью HBM-PIM способен сэкономить 2100 ГВт·час в год, что в пересчёте на «углеродный след» означает снижение выбросов на 960 тыс. т за тот же период. Для поглощения аналогичных объёмов углекислого газа потребовалось бы 10 лет и 16 млн. деревьев.

Компания уверена в своей технологии вычислений в памяти и посредством SYCL уже подготовила спецификации, позволяющие разработчикам ПО использовать все преимущества HBM-PIM. Также Samsung активно работает над похожей концепцией PNM (processing-near-memory), которая найдёт своё применение в модулях памяти CXL.

Устройство Samsung HBM-PIM

Работы по внедрению PIM и PNM Samsung ведёт давно, ещё на конференции Hot Chips 33 в прошлом году она объявила, что намерена оснастить вычислительными ускорителями все типы памяти — не только HBM2/3, но и DDR4/5. Тогда же впервые был продемонстрирован рабочий образец HBM-PIM, где каждый чип был оснащён ускорителем с FP16-производительностью 1,2 Тфлопс.

Таким образом, первая HPC-система с технологией PIM полностью доказала работоспособность концепции вычислений в памяти. Samsung намеревается активно продвигать технологии PIM и PNM как в ИТ-индустрии, так и в академической среде, главном потребителе ресурсов суперкомпьютеров и кластерных систем.

Совместная инициатива по высокопроизводительным вычислениям в Европе EuroHPC JU и некоммерческий консорциум CINECA, состоящий из 69 итальянских университетов и 21 национальных исследовательских центров, провели церемонию запуска суперкомпьютера Leonardo.

В основу комплекса положены платформы Atos BullSequana X2610 и X2135. Система Leonardo состоит из двух секций — общего назначения и с ускорителями вычислений (Booster). Когда строительство системы будет завершено, первая будет включать 1536 узлов, каждый из которых содержит два процессора Intel Xeon Sapphire Rapids с 56 ядрами и TDP в 350 Вт, 512 Гбайт оперативной памяти DDR5-4800, интерконнект NVIDIA InfiniBand HDR100 и NVMe-накопитель на 8 Тбайт.

Источник изображения: HPCwire

Секция Booster объединяет 3456 узлов, каждый из которых содержит один чип Intel Xeon 8358 с 32 ядрами, 512 Гбайт ОЗУ стандарта DDR4-3200, четыре кастомных ускорителя NVIDIA A100 с 64 Гбайт HBM2-памяти, а также два адаптера NVIDIA InfiniBand HDR100. Кроме того, в состав комплекса входят 18 узлов для визуализации: 6,4 Тбайт NVMe SSD и два ускорителя NVIDIA RTX 8000 (48 Гбайт) в каждом. Вычислительный комплекс объединён фабрикой с топологией Dragonfly+.

Источник: CINECA

Для хранения данных служит двухуровневая система. Производительный блок (5,4 Пбайт, 1400 Гбайт/с) содержит 31 модуль DDN Exascaler ES400NVX2, каждый из которых укомплектован 24 NVMe SSD вместимостью 7,68 Тбайт и четырьмя адаптерами InfiniBand HDR. Второй уровень большой ёмкости (106 Пбайт, чтение/запись 744/620 Гбайт/с) состоит из 31 массива DDN EXAScaler SFA799X с 82 SAS HDD (7200 PRM) на 18 Тбайт и четырьмя адаптерами InfiniBand HDR. Каждый из массивов включает два JBOD-модуля с 82 дисками на 18 Тбайт. Для хранения метаданных используются 4 модуля DDN EXAScaler SFA400NVX: 24 × 7,68 Тбайт NVMe + 4 × InfiniBand HDR.

Изображение: CINECA

В настоящее время Leonardo обеспечивает производительность более 174 Пфлопс. Ожидается, что суперкомпьютер будет полностью запущен в первой половине 2023 года, а его пиковое быстродействие составит 250 Пфлопс. Уже сейчас система занимает четвёртое место в последнем рейтинге самых мощных суперкомпьютеров мира TOP500. В Европе Leonardo является второй по мощности системой после LUMI.

Leonardo оборудован системой жидкостного охлаждения для повышения энергоэффективности. Кроме того, предусмотрена возможность регулировки энергопотребления для обеспечения баланса между расходом электричества и производительностью. Суперкомпьютер ориентирован на решение высокоинтенсивных вычислительных задач, таких как обработка данных, ИИ и машинное обучение. Половина вычислительных ресурсов Leonardo будет предоставлена пользователям EuroHPC.

Hewlett Packard Enterprise анонсировала суперкомпьютеры HPE Cray EX и HPE Cray XD, которые отличаются более доступной ценой, меньшей занимаемой площадью и большей энергоэффективностью по сравнению с прошлыми решениями компании. Новинки используют современные технологии в области вычислений, интерконнекта, хранилищ, питания и охлаждения, а также ПО.

Изображение: HPE

Суперкомпьютеры HPE обеспечивают высокую производительность и масштабируемость для выполнения ресурсоёмких рабочих нагрузок с интенсивным использованием данных, в том числе задач ИИ и машинного обучения. Новинки, по словам компании, позволят ускорить вывода продуктов и сервисов на рынок. Решения HPE Cray EX уже используются в качестве основы для больших машин, включая экзафлопсные системы, но теперь компания предоставляет возможность более широкому кругу организаций задействовать супервычисления для удовлетворения их потребностей в соответствии с возможностями их ЦОД и бюджетом.

В семейство HPE Cray вошли следующие системы:

• HPE Cray EX2500 с такой же архитектурой как у HPE Cray EX4000, самой быстрой системы экзафлопсного класса от HPE. Однако EX2500 на 24 % меньше, что позволит разместить его в корпоративном ЦОД. Новая система имеет 100% прямое жидкостное охлаждение.
• HPE Cray XD2000 и XD6500 HPE со специализированными серверами с высокой плотностью размещения, созданные путём интеграции портфолио HPE и Cray. HPE Cray XD тоже совместимы с традиционными корпоративными ЦОД и дают возможность подобрать необходимую конфигурацию в зависимости от рабочей нагрузки.

Все три системы задействуют те же технологии, что и их старшие собратья: интерконнект HPE Slingshot, хранилище Cray Clusterstor E1000 и пакет ПО HPE Cray Programming Environment и т.д. Система HPE Cray EX2500 поддерживает процессоры AMD EPYC Genoa и Intel Xeon Sapphire Rapids, а также ускорители AMD Instinct MI250X. Модель HPE Cray XD6500 поддерживает чипы Sapphire Rapids и ускорители NVIDIA H100, а для XD2000 заявлена поддержка AMD Instinct MI210.

Изображение: Intel

В качестве примеров выгод от использования анонсированных суперкомпьютеров в разных отраслях компания назвала:

• Ускорение вывода на рынок более безопасных и высокопроизводительных автомобилей: автопроизводители с помощью суперкомпьютеров смогут лучше моделировать и тестировать усовершенствования конструкции транспортных средств и моделировать столкновения, экономя деньги на краш-тестах и физических испытаниях;
• Разработка материалов для упаковки: моделирование физических и химических процессов для ускорения создания альтернативных материалов может помочь в создании более качественной, экологичной упаковки для средств личной гигиены и потребительских товаров, и снизить затраты предприятий;
• Ускорение разработки лекарств: учёные и фармацевтические лаборатории смогут лучше изучить химические взаимодействия, которые могут привести к созданию революционных средств для лечения сложных и даже ещё неизвестных заболеваний;
• Принятие важных мгновенных решений на финансовых рынках: финансовые аналитики смогут использовать производительность суперкомпьютеров и возможности ИИ для создания подробной аналитики и передовых алгоритмов для прогнозирования критических тенденций на рынке, а также для выявления мошенничества и управления рисками.

Компания Tesla уже анонсировала собственный, созданный в лабораториях компании процессор D1, который станет основой ИИ-суперкомпьютера Dojo. Нужна такая система, чтобы создать для ИИ-водителя виртуальный полигон, в деталях воссоздающий реальные ситуации на дорогах. Естественно, такой симулятор требует огромных вычислительных мощностей: в нашем мире дорожная обстановка очень сложна, изменчива и включает множество факторов и переменных.

До недавнего времени о Dojo и D1 было известно не так много, но на конференции Hot Chips 34 было раскрыто много интересного об архитектуре, устройстве и возможностях данного решения Tesla. Презентацию провел Эмиль Талпес (Emil Talpes), ранее 17 лет проработавший в AMD над проектированием серверных процессоров. Он, как и ряд других видных разработчиков, работает сейчас в Tesla над созданием и совершенствованием аппаратного обеспечения компании.

Изображения: Tesla (via ServeTheHome)

Главной идеей D1 стала масштабируемость, поэтому в начале разработки нового чипа создатели активно пересмотрели роль таких традиционных концепций, как когерентность, виртуальная память и т.д. — далеко не все механизмы масштабируются лучшим образом, когда речь идёт о построении действительно большой вычислительной системы. Вместо этого предпочтение было отдано распределённой сети хранения на базе SRAM, для которой был создан интерконнект, на порядок опережающий существующие реализации в системах распределённых вычислений.

Основой процессора Tesla стало ядро целочисленных вычислений, базирующееся на некоторых инструкциях из набора RISC-V, но дополненное большим количеством фирменных инструкций, оптимизированных с учётом требований, предъявляемых ядрами машинного обучения, используемыми компанией. Блок векторной математики был создан практически с нуля, по словам разработчиков.

Набор инструкций Dojo включает в себя скалярные, матричные и SIMD-инструкции, а также специфические примитивы для перемещения данных из локальной памяти в удалённую, равно как и семафоры с барьерами — последние требуются для согласования работы c памятью во всей системе. Что касается специфических инструкций для машинного обучения, то они реализованы в Dojo аппаратно.

Первенец в серии, чип D1, не является ускорителем как таковым — компания считает его высокопроизводительным процессором общего назначения, не нуждающимся в специфических ускорителях. Каждый вычислительный блок Dojo представлен одним ядром D1 с локальной памятью и интерфейсами ввода/вывода. Это 64-бит ядро суперскалярно.

Более того, в ядре реализована поддержка многопоточности (SMT4), которая призвана увеличить производительность на такт (а не изолировать разные задачи друг от друга), поэтому виртуальную память данная реализация SMT не поддерживает, а механизмы защиты довольно ограничены в функциональности. За управление ресурсами Dojo отвечает специализированный программный стек и фирменное ПО.

64-бит ядро имеет 32-байт окно выборки (fetch window), которое может содержать до 8 инструкций, что соответствует ширине декодера. Он, в свою очередь, может обрабатывать два потока за такт. Результат поступает в планировщики, которые отправляют его в блок целочисленных вычислений (два ALU) или в векторный блок (SIMD шириной 64 байт + перемножение матриц 8×8×4).

У каждого ядра D1 есть SRAM объёмом 1,25 Мбайт. Эта память — не кеш, но способна загружать данные на скорости 400 Гбайт/с и сохранять на скорости 270 Гбайт/с, причём, как уже было сказано, в чипе реализованы специальные инструкции, позволяющие работать с данными в других ядрах Dojo. Для этого в блоке SRAM есть свои механизмы, так что работа с удалённой памятью не требуют дополнительных операций.

Что касается поддерживаемых форматов данных, то скалярный блок поддерживает целочисленные форматы разрядностью от 8 до 64 бит, а векторный и матричный блоки — широкий набор форматов с плавающей запятой, в том числе для вычислений смешанной точности: FP32, BF16, CFP16 и CFP8. Разработчики D1 пришли к использованию целого набора конфигурируемых 8- и 16-бит представлений данных — компилятор Dojo может динамически изменять значения мантиссы и экспоненты, так что система может использовать до 16 различных векторных форматов, лишь бы в рамках одного 64-байт блока данных он не менялся.

Как уже упоминалось, топология D1 использует меш-структуру, в которой каждые 12 ядер объединены в логический блок. Чип D1 целиком представляет собой массив размером 18×20 ядер, однако доступны лишь 354 ядра из 360 присутствующих на кристалле. Сам кристалл площадью 645 мм² производится на мощностях TSMC с использованием 7-нм техпроцесса. Тактовая частота составляет 2 ГГц, общий объём памяти SRAM — 440 Мбайт.

Процессор D1 развивает 362 Тфлопс в режиме BF16/CFP8, в режиме FP32 этот показатель снижается до 22 Тфлопс. Режим FP64 векторными блоками D1 не поддерживается, поэтому для многих традиционных HPC-нагрузок данный процессор не подойдёт. Но Tesla создавала D1 для внутреннего использования, поэтому совместимость её не очень волнует. Впрочем, в новых поколениях, D2 или D3, такая поддержка может появиться, если это будет отвечать целям компании.

Каждый кристалл D1 имеет 576-битный внешний интерфейс SerDes с совокупной производительностью по всем четырём сторонам, составляющей 18 Тбайт/с, так что узким местом при соединении D1 он явно не станет. Этот интерфейс объединяет кристаллы в единую матрицу 5х5, такая матрица из 25 кристаллов D1 носит название Dojo training tile.

Этот тайл выполнен как законченный термоэлектромеханический модуль, имеющий внешний интерфейс с пропускной способностью 4,5 Тбайт/с на каждую сторону, совокупно располагающий 11 Гбайт памяти SRAM, а также собственную систему питания мощностью 15 кВт. Вычислительная мощность одного тайла Dojo составляет 9 Пфлопс в формате BF16/CFP8. При таком уровне энергопотребления охлаждение у Dojo может быть только жидкостное.

Тайлы могут объединяться в ещё более производительные матрицы, но как именно физически организован суперкомпьютер Tesla, не вполне ясно. Для связи с внешним миром используются блоки DIP — Dojo Interface Processors. Это интерфейсные процессоры, посредством которых тайлы общаются с хост-системами и на долю которых отведены управляющие функции, хранение массивов данных и т.п. Каждый DIP не просто выполняет IO-функции, но и содержит 32 Гбайт памяти HBM (не уточняется, HBM2e или HBM3).

DIP использует полностью свой транспортный протокол (Tesla Transport Protocol, TTP), разработанный в Tesla и обеспечивающий пропускную способность 900 Гбайт/с, а поверх Ethernet — 50 Гбайт/с. Внешний интерфейс у карточек — PCI Express 4.0, и каждая интерфейсная карта несёт пару DIP. С каждой стороны каждого ряда тайлов установлено по 5 DIP, что даёт скорость до 4,5 Тбайт/с от HBM-стеков к тайлу.

В случаях, когда во всей системе обращение от тайла к тайлу требует слишком много переходов (до 30 в случае обращения от края до края), система может воспользоваться DIP, объединённых снаружи 400GbE-сетью по топологии fat tree, сократив таким образом, количество переходов до максимум четырёх. Пропускная способность в этом случае страдает, но выигрывает латентность, что в некоторых сценариях важнее.

В базовой версии суперкомпьютер Dojo V1 выдаёт 1 Эфлопс в режиме BF16/CFP8 и может загружать непосредственно в SRAM модели объёмом до 1,3 Тбайт, ещё 13 Тбайт данных можно хранить в HBM-сборках DIP. Следует отметить, что пространство SRAM во всей системе Dojo использует единую плоскую адресацию. Полномасштабная версия Dojo будет иметь производительность до 20 Эфлопс.

Сколько сил потребуется компании, чтобы запустить такого монстра, а главное, снабдить его рабочим и приносящим пользу ПО, неизвестно — но явно немало. Известно, что система совместима с PyTorch. В настоящее время Tesla уже получает готовые чипы D1 от TSMC. А пока что компания обходится самым большим в мире по числу установленных ускорителей NVIDIA ИИ-суперкомпьютером.