Разработчик ИИ-чипов Rebellions планирует расширить своё присутствие за пределами Южной Кореи с помощью поставок новой стоечной вычислительной платформы, которая не потребует от предприятий использования жидкостного охлаждения или сверхмощных стоек, пишет The Register. Основанный в конце 2020 года стартап производит ИИ-ускорители, которые используются многими компаниями Южной Кореи.

Главный коммерческий директор Rebellions Маршалл Чой (Marshall Choy) сообщил The Register, что поначалу компания сосредоточились на телекоммуникационных предприятиях, поставщиках услуг и корпоративных пользователях на южнокорейском рынке. «Мы разработали сценарии использования для всего, от колл-центров и обслуживания клиентов до систем видеонаблюдения для национальной системы автомагистралей», — отметил он, добавив, что компания сейчас находится в сильной позиции, а накопленный ею опыт и возможности позволяют расширять поставки в другие регионы.

После выпуска ИИ-ускорителя Rebel Quad, переименованного в Rebel100, компания начала предпринимать шаги по выходу на международный рынок. За последние несколько месяцев Rebellions открыла офисы в Японии, Саудовской Аравии, на Тайване и в США, где надеется завоевать доверие предприятий с помощью своих стоечных систем RebelRack и RebelPods на базе Rebel100.

Ускоритель Rebel100, в отличие от NVIDIA H200, базирующегося на монолитном вычислительном кристалле, изготовленном TSMC, использует чиплетную архитектуру с четырьмя вычислительными кристаллами, произведёнными и упакованными Samsung. К нему подключены четыре стека памяти HBM3e общей ёмкостью 144 Гбайт и пропускной способностью 4,8 Тбайт/с. Благодаря тому, что Rebellions — южнокорейская компания, тесно связанная как с чеболем SK, так и с Samsung, крупнейшими поставщиками HBM, у неё нет проблем с закупкой этой памяти.

Сам Rebel100 выпускается в виде PCIe-карты с TDP 600 Вт и производительностью до 1 Пфлопс в режиме FP16 и до 2 Пфлопс на операциях FP8. Референсный дизайн Rebellions предусматривает размещение восьми таких карт в одном 19″ узле с воздушным охлаждением. Опора на стандартные форм-факторы была ключевым приоритетом при проектировании Rebellions, поскольку это позволяет развернуть системы в существующих корпоративных ЦОД, тогда как последние поколения ускорителей NVIDIA требуют СЖО.

Стоечная система RebelRack будет включать четыре таких узла, объединённых 400GbE-сетью, что в сумме даст 32 ускорителя с общей производительностью 64 Пфлопс (FP8) и 4,6 Тбайт HBM3e с агрегированной ПСП 153,6 Тбайт/с. Для более крупных развёртываний предназначена стоечная система RebelPod, которая может масштабироваться от 8 до 128 узлов, каждый из которых имеет восемь ускорителей Rebel100, соединённых 800GbE-интерконнектом. Чой говорит, что в дальнейшем компания будет уделять первостепенное внимание сетевой инфраструктуре.

The Register отметил на примере стоечных систем от AMD и NVIDIA, что вычислительные ресурсы и сетевые возможности — это лишь две части решения задачи. Также необходимо ПО, которое сможет объединить всё это. Программный стек Rebellions работает на основе open source фреймворков, таких как vLLM, PyTorch и Triton. Для дезагрегированного инференса используется llm-d, ещё один открытый инструмент, позволяющий выполнять предварительное заполнение на одном наборе ускорителей, а декодирование — на другом. «Всё — open source, от vLLM до самого высокого уровня стека, Red Hat, OpenShift и т.д., — сказал Чой. — Если вы использовали какие-либо из этих технологий в другом контексте, вы уже знаете, как использовать Rebellions».

В понедельник стартап привлёк $400 млн в рамках предварительного раунда финансирования, который возглавили Mirae Asset Financial Group и Корейский национальный фонд развития, как для поддержки своей экспансии на международном рынке, так и для дальнейшего развития более совершенных и эффективных акселераторов и систем ИИ. По данным The Register, компания может подать заявку на IPO уже в этом году или в начале следующего.

Источник:

• The Register