AMD представила ИИ-платформу Helios AI, объединяющую в одной ORW-стойке высотой 44OU процессоры EPYC Venice 9006 SP7 с ускорителями Instinct MI455X и NIC Pensando вместе с ПО AMD ROCm. Гендиректор Лиза Су (Lisa Su) объявила о начале полномасштабного производства Helios. 72 ускорителя MI455X размещены в 18 узлах, по четыре единицы в каждом. По данным AMD, пиковая производительность на стойку составляет 2,9 Эфлопс в режиме FP4 и 1,4 Эфлопс в режиме FP8.
Источник изображений: AMD
В основе масштабируемой архитектуры Helios лежит технология UALoE (UALink over Ethernet), которая объединяет 72 ускорителя AMD Instinct MI455X в стойке в единый домен. Разработанная с учётом суммарной пропускной способности до 260 Тбайт/с и доступа к 31 Тбайт памяти HBM4 с агрегированной пропускной способностью 1,7 Пбайт/с в одной стойке, платформа AMD Helios позволяет обрабатывать модели и рабочие нагрузки, требующие тесной связи между ускорителями.
Как сообщается, система Helios разработана с учётом пути, который проходит рабочая нагрузка ИИ через стойку. Нагрузка поступает через хост-уровень, перемещается в домен GPU, получает доступ к данным модели и активным данным в HBM4 и взаимодействует на уровне всей стойке через масштабируемую коммутационную сеть.
Сеть построена на одношаговой топологии с использованием стандартных микросхем коммутаторов Ethernet (ESUN), что обеспечивает связь GPU с другим GPU через один коммутатор — минимизируя задержку, улучшая управление перегрузкой и максимизируя эффективность связи в сети. Стойка обеспечивает агрегированную пропускную способность при вертикальном масштабировании (через UALoE) 260 Тбайт/с и 43 Тбайт/с при горизонтальном (по три 800GbE-подключения на GPU).
Компания также уделила внимание аппаратной отказоустойчивости AMD Helios. Каждый GPU подключается через 18 независимых линий UALoE, распределённых по разным коммутационным блокам. Когда аппаратный сбой затрагивает один путь, система автоматически поддерживает единую область GPU, используя альтернативные соединения.
Программный инструмент AMD Fabric Manager (AFM) обеспечивает операционный уровень для масштабируемой сети AMD Helios, управляя автоматизацией развёртывания, предоставлением ресурсов, телеметрией, мониторингом и управлением всей сетью в рамках единой платформы. Он предоставляет операторам видимость всей масштабируемой сети, упрощая развёртывание, мониторинг и обслуживание ИИ-инфраструктуры стоечного масштаба по мере роста сред.
В свою очередь, специализированная ОС AMD Fabric OS (AFOS) непосредственно функционирует на уровне коммутации масштабируемой сети, обеспечивая управление в реальном времени и видимость, необходимые для обнаружения и реагирования на аппаратные события внутри самой сети. Вместе AFM и AFOS преобразуют масштабируемую сеть AMD Helios из аппаратного соединения в управляемую, наблюдаемую операционную платформу.
Поскольку не всем нагрузкам требуется одновременное использование 72 ускорителей, компания предложила vPods — виртуальные кластеры (Virtual Pods), которые позволяют клиентам разделять масштабируемую область AMD Helios на более мелкие программно-определяемые среды, адаптированные к конкретным рабочим нагрузкам. Отдельные циклы обучения, среды тестирования и инференса могут сосуществовать в одной стойке, сохраняя при этом изоляцию и локализацию сбоев.
AMD Helios является прямым конкурентом стоечным системам GB300 NVL72 и Vera Rubin NVL72. По словам Су, AMD Helios обеспечивает на 15 % более высокую вычислительную производительность, чем Vera Rubin, и предлагает на 50 % больше высокоскоростной памяти. Она также отметила, что AMD Helios обеспечивает на 30 % больше токенов на доллар, чем серверы NVIDIA. Стойки Helios AI могу быть дополнены стойками Cererbras для дезагрегированного инференса.
Источник:
