Стартап SambaNova Systems сообщил о расширении сотрудничества с Аргоннской национальной лабораторией Министерства энергетики США. В рамках многолетнего соглашения компания установит вычислительную систему DataScale нового поколения. Комплекс обеспечит ускорение выполнения различных ИИ-задач, включая обработку изображений и масштабных языковых моделей.

DataScale — полностью интегрированная программно-аппаратная платформа, которая позволяет компаниям и организациям переосмыслить свой подход к ИИ. Система второго поколения DataScale SN30 содержит ускоритель собственной разработки Cardinal SN30, особенностью которого является возможность реконфигурации. Решение содержит 640 Мбайт кеша SRAM и 1 Тбайт DRAM.

Источник изображения: Аргоннская национальная лаборатория

В рамках соглашения с Аргоннской национальной лабораторией комплекс DataScale будет доступен научному сообществу на базе площадки ALCF AI Testbed. Она помогает исследователям во внедрении ИИ и алгоритмов глубокого обучения в науке.

Специалисты лаборатории применяли комплекс SambaNova предыдущего поколения для широкого спектра исследовательских проектов. Это, в частности, разработка суррогатных моделей для повышения точности прогнозирования погоды, ускорение моделирования гидродинамики для исследований в области двигателестроения и обработка изображений высокого разрешения для повышения эффективности экспериментальных открытий. Кроме того, система используется для проектов в области периферийных вычислений, нейтринной физики и прогнозирования злокачественных образований.

Стартап SambaNova, решивший бросить вызов NVIDIA, представил второе поколение систем машинного обучения — DataScale SN30. В основе лежит собственная разработка компании, ускоритель Cardinal SN30, для обозначения которого SambaNova использует термин Reconfigurable Data Flow Unit (RDU). На новинку уже обратили внимание такие организации, как Аргоннская национальная лаборатория (ANL) и Ливерморская национальная лаборатория им. Э. Лоуренса (LLNL).

Cardinal SN30 состоит из 86 млрд транзисторов и производится с использованием 7-нм техпроцесса TSMC. Главной его особенностью является возможность реконфигурации: создатели уподобляют этот процессор сложным FPGA. Последним он уступает в степени гибкости, поскольку не может менять конфигурацию на уровне отдельных логических вентилей, зато выигрывает в скорости перепрограммирования и уровне энергопотребления. За это отвечает фирменный программный стек.

Источник: HPCwire

Большой упор SambaNova сделала на объёме локальной памяти, поскольку современные модели машинного обучения имеют тенденцию к гигантомании. Только SRAM-кеша у Cardinal SN30 640 Мбайт, а объём DRAM составляет 1 Тбайт. По своим параметрам SN30 вдвое превосходит чип первого поколения, SN10, но имеет такую же тайловую архитектуру с программным управлением.

Здесь и далее источник изображений: SambaNova

Каждый тайл содержит блоки PCU, отвечающие за вычисления, блоки PMU, содержащие SRAM и обслуживающую логику, а также mesh-интерконнект, обслуживаемый блоками коммутаторов. Такой подход к построению процессора весьма напоминает Tesla D1, у которых вычислительные блоки похожим образом чередуются с блоками быстрой SRAM-памяти. Отдельно ускорители компания не поставляет, минимальная конфигурация готовой 42U-системы DataScale включает в себя 8 чипов SN30.

Комплектация может включать в себя от одного до трёх узлов SN30. Воспользоваться возможностями DataScale можно и в виде услуги, поскольку новинка легко интегрируется в облачные среды и полностью поддерживает платформу Kubernetes. Полный список провайдеров ещё уточняется, на сегодняшний момент партнерами SambaNova являются Aicadium, Cirrascale и ORock.

Высокая производительность в режиме bfloat16 является главным достоинством новинки — по словам вице-президента SambaNova, каждый чип развивает 688 Тфлопс. Это более чем вдвое выше показателя A100, составляющего 312 Тфлопс. По словам компании, DataScale SN30 вшестеро производительнее NVIDIA DGX A100 (40 Гбайт) и эффективнее всего проявляет себя при обучении сверхбольших моделей вроде GPT-3 с её 13 млрд параметров. Однако нельзя не отметить, что, во-первых, сравнение идёт со старым продуктом NVIDIA, которая вот-вот представит DGX H100, а во-вторых, SambaNova не упоминает в явном виде энергопотребление одного узла SN30.

Венгерская группа OTP Group, работающая в сферах финансового, страхового, инвестиционного и банковского бизнеса, заключила соглашение с компанией SambaNova Systems. Последняя, по условиям договора, займётся созданием самого высокопроизводительного в Европе суперкомпьютера для ИИ-вычислений. Флагманским продуктом компании является Dataflow-as-a-Service (DaaS), расширяемая платформа ИИ-сервисов по подписке.

Соглашение между OTP Group и SambaNova Systems имеет многолетний характер. Стороны намерены сообща развернуть платформу высокопроизводительных вычислений с использованием Dataflow-as-a-Service для работы GPT-моделями. Кроме того, мощности суперкомпьютера будут доступны публичному сектору, частным предприятиям и высшим учебным заведениям в рамках сотрудничества с Министерством инноваций и технологий Венгрии.

Источник изображения: pixabay.com / geralt

Показатели быстродействия будущего суперкомпьютера пока не раскрываются. Но отмечается, что он сможет обрабатывать огромные массивы текстовой информации и данных за короткое время. Система, в частности, позволит предоставлять более персонализированные финансовые сервисы на базе ИИ миллионам клиентов OTP Group.

Стартап SambaNova Systems, специализирующийся на разработке аппаратного и программного обеспечения для запуска приложений ИИ, объявил об успешном завершении раунда финансирования серии D, в ходе которого он привлёк $676 млн. Соучредитель и генеральный директор SambaNova Родриго Лян (Rodrigo Liang) подтвердил, что рыночная стоимость компании с учётом полученных инвестиций составляет $5,1 млрд.

Этот раунд возглавил SoftBank, который производит инвестиции через Vision Fund 2. В финансировании также приняли участие новые инвесторы — Temasek и GIC (Сингапурский фонд национального благосостояния), наряду с компаниями, ранее участвовавшими в инвестировании стартапа, включая BlackRock, Intel Capital, GV (ранее Google Ventures), Walden International и WRVI.

«SambaNova создала ведущую системную архитектуру, которая является гибкой, эффективной и масштабируемой. Это обеспечивает целостное программное и аппаратное решение для клиентов и снижает дополнительную сложность, обусловленную решениями с использованием отдельных технологических компонентов, — говорится в заявлении Дипа Нишара (Deep Nishar), старшего управляющего партнёра SoftBank Investment Advisers. — Мы рады сотрудничать с Родриго и командой SambaNova, чтобы поддержать их миссию по предоставлению передовых решений искусственного интеллекта организациям по всему миру».

Компания SambaNova была основана в 2017 году двумя профессорами Стэнфордского университета, Кунле Олукотуном (Kunle Olukotun) и Крисом Ре (Chris Ré), а также Родриго Ляном, бывшим топ-менеджером Oracle. На сегодняшний день компания получила более $1 млрд инвестиций для создания специализированного оборудования для ИИ под названием DataScale и построения системы для работы на нём.

Как сообщается, SambaNova оказывает серьёзную конкуренцию в корпоративном сегменте таким компаниям, как NVIDIA, Cerebras Systems и Graphcore — ещё одному стартапу в этой сфере, который в прошлом году тоже привлёк значительные инвестиции. Однако SambaNova применяет несколько иной подход к работе с приложениями искусственного интеллекта. В то время как графические процессоры NVIDIA исторически использовались для поддержки ИИ и машинного обучения, SambaNova применяет системный подход к ИИ, создавая завершённый механизм, который включает кастомные чипы, программное обеспечение и другие подсистемы.

SambaNova не продаёт свои чипы, а предлагает заказчикам готовые системы DataScale — от 8U до нескольких стоек. Флагманским продуктом компании является Dataflow-as-a-Service (DaaS), расширяемая платформа ИИ-сервисов по подписке. Компания устанавливает системы DataScale и управляет DaaS для клиентов, которые не желают углубляться в техническую сторону вопроса, а просто хотят реализовывать инициативы в области ИИ на уровне бизнеса.

Чипы SambaNova Cardinal для обучения, инференса, анализа данных и высокопроизводительных вычислений с «реконфигурируемым потоком данных», по словам компании, превосходят ускорители NVIDIA A100 во многих, если не большинстве задач ИИ. Отличительная черта комплексов DataScale — ребалансировка памяти и вычислений. Это позволяет достичь высокой производительности в области обработки естественных языков (NLP), компьютерного зрения (CV) и рекомендательных систем.

В первом случае тренировка, дообучение, тонкая настройка и последующее исполнение моделей вроде GPT или BERT с миллиардами параметров кратно ускоряется. В случае рекомендательных систем DaaS способен справиться с таблицами данных терабайтного размера, что важно, например, для торговли. Ну а лучше всего решение SambaNova проявляется себя в CV, так как оно позволяет организовать обучение на изображениях размером до 50 тыс. × 50 тыс. пикс., что крайне важно, например, в радиологии.

Система SambaNova DataScale дополнила суперкомпьютер Corona. Фото: Katrina Trujillo/LLNL

С первой половины 2020 года SambaNova поставляет продукцию ряду клиентов, включая специалистов Министерства энергетики США в Ливерморской национальной лаборатории Лоуренса (LLNL) и Аргоннской национальной лаборатории (ANL). Имена других клиентов не раскрываются, но говорится, что решения SambaNova могут быть интересны нефтегазовому сектору, фармацевтической отрасли, медицине и другим крупным и сверхкрупным корпоративным заказчикам.

Более того, Родриго Лян говорит, что традиционные архитектуры CPU и GPU достигли своего лимита, и для дальнейшего развития вычислений нужен новый подход, который как раз и предлагает SambaNova. Тем не менее, нельзя не отметить, что NVIDIA прекрасно понимает, куда движется отрасль. В частности, будущие процессоры Grace и DPU BlueField помогут решить как проблемы масштабирования моделей, так и упростить сам процесс работы с ИИ.

«SambaNova воспользуется этим последним вливанием капитала, чтобы агрессивно бросить вызов существующему конкуренту на рынке, NVIDIA, — сообщил Лян ресурсу EnterpriseAI. — К концу года компания планирует увеличить персонал до более 500 сотрудников по всем направлениям, включая проектирование, вывод продуктов на рынок, а также общие и административные расходы, при этом расширяясь за пределы рынков Северной Америки и Европы, Ближнего Востока и Африки, которые она уже обслуживает через региональные филиалы».