Разработчик ИИ-чипов Rebellions планирует расширить своё присутствие за пределами Южной Кореи с помощью поставок новой стоечной вычислительной платформы, которая не потребует от предприятий использования жидкостного охлаждения или сверхмощных стоек, пишет The Register. Основанный в конце 2020 года стартап производит ИИ-ускорители, которые используются многими компаниями Южной Кореи.

Главный коммерческий директор Rebellions Маршалл Чой (Marshall Choy) сообщил The Register, что поначалу компания сосредоточились на телекоммуникационных предприятиях, поставщиках услуг и корпоративных пользователях на южнокорейском рынке. «Мы разработали сценарии использования для всего, от колл-центров и обслуживания клиентов до систем видеонаблюдения для национальной системы автомагистралей», — отметил он, добавив, что компания сейчас находится в сильной позиции, а накопленный ею опыт и возможности позволяют расширять поставки в другие регионы.

Источник изображения: Rebellions

После выпуска ИИ-ускорителя Rebel Quad, переименованного в Rebel100, компания начала предпринимать шаги по выходу на международный рынок. За последние несколько месяцев Rebellions открыла офисы в Японии, Саудовской Аравии, на Тайване и в США, где надеется завоевать доверие предприятий с помощью своих стоечных систем RebelRack и RebelPods на базе Rebel100.

Ускоритель Rebel100, в отличие от NVIDIA H200, базирующегося на монолитном вычислительном кристалле, изготовленном TSMC, использует чиплетную архитектуру с четырьмя вычислительными кристаллами, произведёнными и упакованными Samsung. К нему подключены четыре стека памяти HBM3e общей ёмкостью 144 Гбайт и пропускной способностью 4,8 Тбайт/с. Благодаря тому, что Rebellions — южнокорейская компания, тесно связанная как с чеболем SK, так и с Samsung, крупнейшими поставщиками HBM, у неё нет проблем с закупкой этой памяти.

Сам Rebel100 выпускается в виде PCIe-карты с TDP 600 Вт и производительностью до 1 Пфлопс в режиме FP16 и до 2 Пфлопс на операциях FP8. Референсный дизайн Rebellions предусматривает размещение восьми таких карт в одном 19″ узле с воздушным охлаждением. Опора на стандартные форм-факторы была ключевым приоритетом при проектировании Rebellions, поскольку это позволяет развернуть системы в существующих корпоративных ЦОД, тогда как последние поколения ускорителей NVIDIA требуют СЖО.

Источник изображения: Rebellions

Стоечная система RebelRack будет включать четыре таких узла, объединённых 400GbE-сетью, что в сумме даст 32 ускорителя с общей производительностью 64 Пфлопс (FP8) и 4,6 Тбайт HBM3e с агрегированной ПСП 153,6 Тбайт/с. Для более крупных развёртываний предназначена стоечная система RebelPod, которая может масштабироваться от 8 до 128 узлов, каждый из которых имеет восемь ускорителей Rebel100, соединённых 800GbE-интерконнектом. Чой говорит, что в дальнейшем компания будет уделять первостепенное внимание сетевой инфраструктуре.

The Register отметил на примере стоечных систем от AMD и NVIDIA, что вычислительные ресурсы и сетевые возможности — это лишь две части решения задачи. Также необходимо ПО, которое сможет объединить всё это. Программный стек Rebellions работает на основе open source фреймворков, таких как vLLM, PyTorch и Triton. Для дезагрегированного инференса используется llm-d, ещё один открытый инструмент, позволяющий выполнять предварительное заполнение на одном наборе ускорителей, а декодирование — на другом. «Всё — open source, от vLLM до самого высокого уровня стека, Red Hat, OpenShift и т.д., — сказал Чой. — Если вы использовали какие-либо из этих технологий в другом контексте, вы уже знаете, как использовать Rebellions».

В понедельник стартап привлёк $400 млн в рамках предварительного раунда финансирования, который возглавили Mirae Asset Financial Group и Корейский национальный фонд развития, как для поддержки своей экспансии на международном рынке, так и для дальнейшего развития более совершенных и эффективных акселераторов и систем ИИ. По данным The Register, компания может подать заявку на IPO уже в этом году или в начале следующего.

Южнокорейский разработчик ИИ-чипов Rebellions, по сообщению Datacenter Dynamics, провёл раунд финансирования Series C, в ходе которого на развитие привлечено $250 млн. В число инвесторов вошли Arm и Samsung Ventures. В результате стартап получил оценку на уровне $1,4 млрд. Фирма Rebellions, основанная в 2020 году, создаёт ускорители для ИИ-инференса, которые обеспечивают энергоэффективность и высокую производительность при небольших задержках.

В 2023 году Rebellions начала массовое производство серверных ускорителей Atom и Atom Max для запуска больших языковых моделей (LLM) в дата-центрах. А в мае нынешнего года стартап представил ускоритель Rebel-Quad, оснащённый 144 Гбайт памяти HBM3e с пропускной способностью до 4,8 Тбайт/с. Это изделие, как утверждается, обеспечивает ИИ-производительность до 1 Пфлопс в режиме FP16 и до 2 Пфлопс на операциях FP8. Устройство выполнено в виде карты расширения с интерфейсом PCIe 5.0 x16. Заявленное энергопотребление — до 600 Вт. Rebellions отмечает, что по эффективности (количеству транзакций на 1 Вт затрачиваемой энергии) ускоритель Rebel-Quad приблизительно в 3,2 раза превосходит изделие NVIDIA H200.

Источник изображения: Rebellions

В инвестиционном раунде Series C, помимо Arm и Samsung Ventures, приняли участие Korea Development Bank и Korelya Capital. Полученные средства будут направлены в том числе на организацию массового производства Rebel-Quad, а также на укрепление позиций на рынках США, Европы и Азиатско-Тихоокеанского региона. По заявлениям Rebellions, её решения уже применяются клиентами в Японии, Саудовской Аравии и США.

Нужно отметить, что в январе 2024 года Rebellions осуществила раунд финансирования Series B, в ходе которого было получено $124 млн. Позднее компания привлекла $15 млн от Wa’ed Ventures, венчурного подразделения саудовского нефтегазового и химического гиганта Aramco. А в июне 2024-го стартап объявил о слиянии с разработчиком ИИ-чипов Sapeon Korea, который был выделен из SK Telecom в 2016 году.

Южнокорейская компания Rebellions, занимающаяся созданием специализированных ИИ-чипов, объявила о сотрудничестве с американским разработчиком процессоров, микроконтроллеров и телекоммуникационных изделий Marvell Technology. Цель партнёрства — выпуск высокопроизводительных и энергоэффективных ИИ-решений для суверенных платформ в Азиатско-Тихоокеанском регионе и на Ближнем Востоке.

Стартап Rebellions основан в 2020 году. Компания проектирует чипы для инференса, способные обеспечить энергоэффективность и высокую производительность при небольших задержках. В январе 2024 года Rebellions провела раунд финансирования Series B, в ходе которого на развитие было привлечено $124 млн. Позднее стартап получил $15 млн от Wa’ed Ventures — венчурного подразделения саудовского нефтегазового и химического гиганта Aramco. Кроме того, фирма Rebellions объявила о слиянии с разработчиком ИИ-чипов Sapeon Korea, который был выделен из SK Telecom в 2016 году.

Источник изображения: Rebellions

В заявлении Rebellions говорится, что инфраструктура ИИ становится всё более важной в плане обеспечения национальной конкурентоспособности. На этом фоне наблюдается переход от стандартизированных архитектур на базе GPU к специализированным системам, построенным с применением ASIC. Такой трансформации способствуют суверенные инициативы и проекты региональных поставщиков облачных услуг, которым требуется инфраструктура, обеспечивающая масштабируемость, эффективность и контроль.

Предполагается, что новое партнёрство позволит Rebellions разрабатывать кастомизированные ИИ-ускорители с использованием специализированных платформ Marvell. При этом будут использоваться передовые технологии упаковки чипов, высокоскоростные SerDes-блоки и межкомпонентные соединения. Новые чипы, как ожидается, обеспечат возможность высокопроизводительного и энергоэффективного инференса.

В целом, сотрудничество позволит объединить достижения Rebellions в области разработки ИИ-решений с передовыми технологиями интеграции кремниевых компонентов Marvell для создания специализированной инфраструктуры ИИ, отвечающей потребностям государственных организаций.

Шведская компания ZeroPoint Technologies, специализирующаяся на создании решений для оптимизации памяти, объявила о стратегическом альянсе с южнокорейским разработчиком ИИ-чипов Rebellions с целью разработки ИИ-ускорителей для инференс. Компании планируют представить новые продукты в 2026 году, обещая «беспрецедентную производительность в пересчёте на токены в секунду на Вт (TPS/W)», пишет EE Times.

Компании планируют увеличить эффективную пропускную способность и ёмкость памяти для нагрузок инференса, используя технологии сжатия, уплотнения и управления памятью от ZeroPoint Technologies. По словам генерального директора ZeroPoint Technologies Класа Моро (Klas Moreau), аппаратная оптимизация работы с памятью на уровне ЦОД позволит увеличить адресуемую ёмкость с ускорением работы почти в 1000 раз по сравнению с использованием программного сжатия.

Компании планируют улучшить показатели токенов в секунду на Вт без ущерба для точности, используя сжатие модели без потерь для уменьшения её размера и сокращения использования энергии, необходимой для перемещения компонентов модели. Гендиректор Rebellions Сонхён Пак (Sunghyun Park) указал, что партнёрство позволит компаниям переопределить возможности инференса, предоставляя более умную, экономичную и устойчивую ИИ-инфраструктуру.

Источник изображения: ZeroPoint Technologies

Моро ранее заявил, что более 70 % данных, хранящихся в памяти, являются избыточными, что позволяет полностью избавиться от них, добившись сжатия без потерь полезной информации. Такая технология сжатия должна выполнять ряд специфических действий в пределах наносекунды, т.е. всего нескольких тактов: «Во-первых, она должна отрабатывать сжатие и распаковку. Во-вторых, она должна уплотнять полученные данные, собирая небольшие фрагменты в единичную линию кеша, чтобы значительно улучшить видимую пропускную способность памяти, и, наконец, она должна бесперебойно управлять данными, отслеживая все фрагменты. Чтобы минимизировать задержку, такой подход должен работать с гранулярностью линий кеша — сжимая, уплотняя и управляя данными в 64-байт фрагментах — в отличие от гораздо больших блоков 4–128 Кбайт, используемых традиционными методами сжатия вроде ZSTD и LZ4».

По словам Моро, благодаря этой технологии, для базовых рабочих нагрузок в ЦОД гиперскейлера адресуемая ёмкость памяти и пропускная способность могут быть увеличены в два-четыре раза, производительность на Вт может увеличиться на 50 %, а совокупная стоимость владения (TCO) может быть значительно снижена. А для специализированных нагрузок, таких как большие языковые модели (LLM), интеграция программного сжатия в сочетании с встроенной аппаратной декомпрессией (что минимизирует любую дополнительную задержку) уже продемонстрировала прирост примерно на 50 % в адресуемой ёмкости памяти, пропускной способности и токенах в секунду.

Моро утверждает, что грядущая интеграция аппаратной (де-)компрессии обещает ещё более существенные улучшения. Например, для базовых ИИ-нагрузок кластер со 100 Гбайт физической памяти благодаря использованию этой технологии будет функционировать так, как если бы у него было 150 Гбайт памяти. «Это не только представляет собой миллиарды долларов потенциальной экономии, но и может повысить производительность сложных ИИ-моделей», — заявил Моро. «Эти достижения обеспечивают надёжную основу для компаний, производящих чипы ИИ, позволяя бросить вызов доминированию таких гигантов отрасли, как NVIDIA», — добавил он.

Южнокорейский стартап Rebellions представила на днях план развития своих ИИ-ускорителей. Как сообщает Business Korea, компания ускорит выпуск ИИ-чипов нового поколения, которые получат 4-нм модули памяти HBM3e производства Samsung. Samsung же будет отвечать за объединение чипов и HBM в одной упаковке.

Изначально к концу 2024 года планировалось наладить выпуск продукта Rebel Single с одним модулем памяти, но потом было решено выпустить гораздо более производительный вариант Rebel Quad с четырьмя 12-слойными (12-Hi) модулями HBM3e суммарной ёмкостью 144 Гбайт, тоже к концу текущего года. Новинка придёт на смену ускорителю ATOM, который оснащён всего лишь 16 Гбайт GDDR6.

Использование ёмкой и быстрой HBM3e-памяти считается одним из главных преимуществ Rebel Quad, по этому показателю новинки сравнимы с последними ускорители NVIDIA семейства Blackwell. При этом обещано, что новинки будут значительно энергоэффективнее решений NVIDIA и даже ускорителей Groq. Это по-прежнему серверные ускорители для обработки LLM вроде ChatGPT, но подойдут ли они для обучения ИИ-моделей, пока не уточняется.

Источник изображения: Rebellions

Сейчас Rebellions ориентируется на поставки комплексных ИИ-решений «стоечного уровня». В рамках концепуии Rebellion Scalable Design (RDS) будет предложены программно-аппаратные комплексы, которые позволят органично взаимодействовать многочисленным ускорителями и серверам с максимальной производительностью и энергоэффективностью. Речь идёт о решении, теоретически способном конкурировать с NVIDIA CUDA.

Wa’ed Ventures, венчурное подразделение саудовского нефтегазового и химического гиганта Aramco, по сообщению Datacenter Dynamics, инвестировало $15 млн в южнокорейский стартап Rebellions, занимающийся разработкой ИИ-чипов для машинного зрения, чат-ботов и больших языковых моделей (LLM).

Компания Rebellions основана в 2020 году. Она создаёт специализированные решения для инференса, которые обеспечивают энергоэффективность и высокую производительность при небольших задержках. В 2023-м Rebellions освоила массовое производство чипов ATOM, способных, как утверждается, конкурировать с NVIDIA A100 в некоторых задачах. Изделия ATOM предназначены для обработки LLM в дата-центрах.

Источник изображения: Rebellions

В январе нынешнего года Rebellions осуществила раунд финансирования Series B, в ходе которого на развитие было привлечено $124 млн. Инвестиционную программу возглавил оператор KT при участии kt cloud, Shinhan Venture Investment, KDB (Корейский банк развития), Noh& Partners, KB Securities, KB Investment, SV Investment, Mirae Asset Venture Investment, IMM Investment, KT Investment, Seoul Techno Holdings, SDB Investment и ряда других инвесторов.

А в июне 2024-го стартап Rebellions объявил о слиянии с разработчиком ИИ-чипов Sapeon Korea, который был выделен из SK Telecom в 2016 году. Rebellions также сотрудничает с Samsung Electronics в рамках проекта по созданию ускорителя для генеративного ИИ.

Сообщается, что Wa’ed Ventures присоединилась к раунду финансирования Series B. Соучредитель и генеральный директор Rebellions Сонхён Пак (Sunghyun Park) отметил, что инвестиции будут направлены на создание высокопроизводительных и энергоэффективных ЦОД для задач ИИ в Королевстве Саудовская Аравия. Таким образом, Rebellions стала первым корейским стартапом, получившим стратегическое финансирование от Aramco Wa'ed Ventures. В общей сложности на текущий момент компания привлекла более $215 млн финансирования.