AMD объявила о планах возобновить поставки ускорителей Instinct MI308 в Китай, разработанных с учётом ограничений США специально для этой страны, после чего акции компании выросли почти на 7 %. «Министерство торговли США недавно сообщило нам, что заявки на получение лицензий на экспорт продукции MI308 в Китай будут переданы на рассмотрение», — сообщили в AMD изданию The Register. «Мы планируем возобновить поставки по мере одобрения лицензий. Мы приветствуем прогресс, достигнутый администрацией Трампа в продвижении торговых переговоров, и её приверженность лидерству США в области ИИ», — подчеркнули в компании.

Днём ранее стало известно, что власти США подтвердили готовность дать добро NVIDIA на возобновление отгрузок ускорителей H20 в Китай. Они тоже были созданы с учётом экспортных ограничений Министерства торговли США для этого рынка, но после очередного витка роста напряжённости между Вашингтоном и Пекином администрация США установила запрет на их поставку. Сейчас компания подаёт заявки на получение необходимых экспортных лицензий, которые гарантированно будут одобрены, после чего вновь начнёт поставки.

Источник изображения: AMD

По данным NVIDIA, из-за экспортных ограничений на поставки H20 в Китай, лишние расходы в I квартале 2026 финансового года составили $4,5 млрд. Также было недополучено $2,5 млрд выручки, хотя ранее ожидалось, что потери составят $5,5 млрд. В свою очередь, AMD сообщила в апреле, что из-за ограничений США её потери в 2024 финансовом году составят около $800 млн из-за складских расходов, закупочных обязательств и связанных с ними созданными резервами.

Послабления для NVIDIA были предоставлены после встречи на прошлой неделе основателя и гендиректора NVIDIA Дженсена Хуанга (Jensen Huang) с Дональдом Трампом и американскими политиками, в ходе которой ему удалось их убедить в отсутствии угрозы для США поставок этих чипов. Возобновление поставок ускорителей в Китай является отступлением от курса администрации, которая неоднократно утверждала, что ограничения на поставки чипов не подлежат обсуждению, сообщил Bloomberg.

AMD сообщила об обнаружении нового класса микроархитектурных атак на свои процессоры — TSA (Transient Scheduler Attack). TSA подобны Meltdown и Spectre и затрагивают широкий спектр CPU AMD и способны привести к раскрытию информации.

TSA включает сразу четыре уязвимости, которые были обнаружены исследователями Microsoft и Швейцарской высшей технической школы Цюриха (ETH Zurich). Две из них имеют средний уровень (medium severity) опасности, две — низкий уровень (Low severity). Несмотря на это Trend Micro и CrowdStrike оценили угрозу как «критическую», пишет ресурс The Register.

Низкие оценки серьёзности объясняются высокой сложностью выполнения успешной атаки. AMD заявила, что её может осуществить только злоумышленник, способный запустить произвольный код на целевой машине, получив доступ через вредоносное ПО или вредоносную виртуальную машину, но для успешного выполнения атак требуются лишь низкие привилегии.

Источник изображения: AMD

Как утверждает AMD, TSA невозможно эксплуатировать через вредоносные веб-сайты, а для надёжного извлечения данных потребуется многократный запуск. Это связано с тем, что атака основана на использовании состояния «ложного завершения» (false completion), которое возникает, когда процессор ожидает быстрого завершения исполнения инструкций загрузки, но какое-либо условие препятствует их успешному завершению. В результате происходит повторная загрузка данных и выполнение зависимых операций, но из-за особенностей чипов «анализ времени выполнения может использоваться как источник утечки информации из микроархитектурных структур, оставшейся после спекулятивного выполнения других операций», — сообщил ресурс OpenNet.

При использовании двух уязвимостей средней степени серьёзности успешные атаки на чипы AMD могут привести к утечке информации из ядра ОС. В других сценариях утечка данных может произойти также из приложений или виртуальных машин. Доступ к данным ядра потенциально может позволить злоумышленникам повысить привилегии, обойти механизмы безопасности, обеспечить персистентность и т.д. Баги низкого уровня могут привести к утечке внутренних данных о работе процессора, которые AMD не считает конфиденциальными.

Источник: AMD

AMD заявила о двух различных вариантах TSA, которые могут быть реализованы на её чипах в зависимости от источника извлечения данных — TSA-SQ и TSA-L1.

• CVE-2024-36350 (TSA-SQ — TSA Store Queue) — утечка из буфера временного хранения операций записи (Store Queue).
• CVE-2024-36357 (TSA-L1 — TSA L1 Data Cache) — утечка через кеш L1D.

Согласно технической документации AMD, уязвимости TSA-L1 вызваны ошибкой в использовании микротегов кешем L1 для поиска. Процессор может полагать, что данные находятся в кеше, хотя на самом деле это не так, что приводит к загрузке неверных данных, которые злоумышленник может затем вывести.

Уязвимости TSA-SQ возникают, когда инструкция загрузки ошибочно извлекает данные из Store Queue, когда необходимые данные недоступны. В этом случае злоумышленник может обнаружить неверные данные и использовать их для извлечения информации, например, из ядра ОС, из ранее загруженных данных, даже если они выполнялись в другом контексте.

Уязвимости проявляются в семействе процессоров AMD на базе микроархитектур Zen 3 и Zen 4, в том числе, в сериях Ryzen 5000/6000/7000/8000, EPYC Milan/Milan-X/Genoa/Genoa-X/Bergamo/Siena, Instinct MI300A, AMD Ryzen Threadripper PRO 7000 WX, EPYC Embedded 7003/8004/9004/97X4, Ryzen Embedded 5000/7000/V3000. В целом обновление микрокода и PI-прошивок (Platform Initialization) необходимо для чипов серий EPYC, Ryzen, Instinct.

Российский поставщик IT-решений «Инферит» (ГК Softline) представил рабочую станцию Inferit, разработанную для ресурсоёмких ИИ-задач, включая обучение больших языковых моделей (LLM). Устройство, как утверждается, сочетает в себе надёжность, компактность, низкий уровень шума и высокую производительность.

Новинка выполнена в форм-факторе 4U с габаритами 439 × 681 × 177 мм (без ручек и выступающих элементов) и массой 45 кг. Допускается настольное размещение или монтаж в 19″ серверную стойку. Задействована материнская плата типоразмера E-ATX. В зависимости от модификации предусматривается установка процессоров AMD или Intel и до 2 Тбайт RAM.

Машина допускает использование до четырёх ИИ-ускорителей на базе GPU. Могут применяться карты AMD W7800 и W7900 или NVIDIA RTX 5090, RTX 6000 ADA, L40, L40S, H100, H200 и RTX Pro 6000. Рабочая станция изначально спроектирована под жидкостное охлаждение: этот контур охватывает зоны CPU (включая VRM) и GPU (включая DDR и VRM). Благодаря СЖО, по заявлениям компании «Инферит», достигается стабильное функционирование системы на повышенных частотах, что обеспечивает высокую производительность и небольшой уровень шума при максимальных нагрузках. Диапазон рабочих температур — от +3 до +38 °C.

Источник изображений: «Инферит»

Возможна установка до восьми NVMe SSD формата M.2, а также двух LFF-накопителей и шести SFF-изделий с интерфейсом SATA. Питание обеспечивают три блока SFX-L мощностью 1200 Вт каждый. Упомянуты два сетевых порта 10GbE. Заявлена совместимость с «МСВСфера» разработки «Инферит», Ubuntu, Windows 10 и Windows Server.

«Рабочая станция Inferit ориентирована на самые ресурсоёмкие сценарии в области искусственного интеллекта, научных исследований и графики. Это мощный инструмент для тех, кто каждый день работает с технологическими задачами», — сообщает «Инферит Техника».

Компания Giga Computing, подразделение Gigabyte, представила серверы G4L3-SD1-LAX5, G4L3-ZD1-LAX5, G894-AD1-AAX5 и G894-SD1-AAX5 для приложений ИИ, инференса и других ресурсоёмких нагрузок. В основу новинок положена платформа NVIDIA HGX B200 в конфигурации 8 × SXM.

Модель G4L3-SD1-LAX5 типоразмера 4U оснащена системой прямого жидкостного охлаждения (DLC) с отдельными зонами CPU и GPU. Допускается установка двух процессоров Intel Xeon Sapphire Rapids или Xeon Emerald Rapids с показателем TDP до 385 Вт. Предусмотрены 32 слота для модулей DDR5-5600, восемь фронтальных отсеков для SFF-накопителей (NVMe/SATA), а также два коннектора для SSD типоразмера M.2 2280/22110 (PCIe 3.0 x2 и PCIe 3.0 x1).

Доступны восемь разъёмов для однослотовых карт расширения FHHL PCIe 5.0 x16 и четыре разъёма для карт FHHL PCIe 5.0 x16 двойной ширины. В оснащение входят контроллер ASPEED AST2600, два сетевых порта 10GbE на базе Intel X710-AT2 и выделенный сетевой порт управления 1GbE. Питание обеспечивают восемь блоков мощностью 3000 Вт с сертификатом 80 PLUS Titanium. Диапазон рабочих температур простирается от +10 до +35 °C.

Вариант G4L3-ZD1-LAX5 рассчитан на два чипа AMD EPYC 9004 (Genoa) или EPYC 9005 (Turin) с TDP до 500 Вт. Этот сервер также выполнен в формате 4U и оборудован DLC-охлаждением. Есть 24 слота для модулей DDR5-6400, восемь фронтальных отсеков для SFF-накопителей NVMe и два внутренних коннектора для SSD стандартов M.2 2280/22110 (PCIe 3.0 x4 и PCIe 3.0 x1). Прочие характеристики аналогичны предыдущей модели.

Источник изображений: Gigabyte

Двухпроцессорные серверы G894-AD1-AAX5 и G894-SD1-AAX5 типоразмера 8U наделены воздушным охлаждением, включая 15 вентиляторов диаметром 80 мм в зоне GPU. Вариант G894-AD1-AAX5 поддерживает установку чипов Intel Xeon 6900 с показателем TDP до 500 Вт и 24 модулей DDR5 (RDIMM-6400 или MRDIMM-8800).

Модификация G894-SD1-AAX5, в свою очередь, рассчитана на процессоры Intel Xeon 6700/6500 с TDP до 350 Вт и 32 модуля DDR5 (RDIMM-6400 или MRDIMM-8000). Оба сервера оборудованы двумя портами 10GbE (Intel X710-AT2), сетевым портом управления 1GbE, контроллером ASPEED AST2600, восемью фронтальными отсеками для SFF-накопителей NVMe, двумя коннекторами M.2 2280/22110 (PCIe 5.0 x4 и PCIe 5.0 x2). Имеются восемь разъёмов для карт расширения FHHL PCIe 5.0 x16 одинарной ширины и четыре разъёма для карт FHHL PCIe 5.0 x16 двойной ширины. Установлены 12 блоков питания мощностью 3000 Вт с сертификатом 80 PLUS Titanium. Серверы могут эксплуатироваться при температурах от +10 до +30 °C.

Российский поставщик IT-решений «Инферит» (ГК Softline) анонсировал отечественные GPU-серверы, предназначенные для работы с ИИ-моделями, инференса, глубокого обучения и других ресурсоёмких задач. Новинки оснащены системой жидкостного охлаждения.

Серверы предлагаются в одно- и двухпроцессорных конфигурациях. В первом случае могут применяться чипы AMD Threadripper Pro 5000 WX, 7000 WX, EPYC 9004 (Genoa) и EPYC 9005 (Turin) или изделия Intel Xeon W-2400/2500/3400/3500, Xeon Sapphire Rapids, Xeon Emerald Rapids и Xeon 6. Двухсокетные версии несут на борту процессоры AMD EPYC 9004/9005 или Xeon Sapphire Rapids / Emerald Rapids и Xeon 6. Объём оперативной памяти достигает 2 Тбайт.

Максимальная конфигурация предполагает установку до восьми PCIe-ускорителей. Могут использоваться карты AMD W7800 и W7900 или NVIDIA RTX 5090, RTX 6000 ADA, L40, L40S, H100, H200 и RTX Pro 6000. Подсистема хранения данных выполнена на основе высокоскоростных SSD.

Для охлаждения задействованы два контура — жидкостный и воздушный с тремя вентиляторами (6200 об/мин). За питание отвечают до четырёх блоков мощностью 2000 Вт в режимах 4+0, 3+1, 2+2. Серверы наделены средствами удалённого мониторинга, которые позволяют анализировать работу охлаждения и других компонентов в реальном времени.

Источник изображений: «Инферит»

Говорится о совместимости с «МСВСфера Сервер» 9, Ubuntu, Windows 10 и Windows Server. В качестве потенциальных заказчиков «Инферит» называет ИИ-разработчиков, аналитиков данных, конструкторов и других специалистов, которым требуется высокая производительность для решения различных задач. На машины предоставляется двухлетняя гарантия, которую можно расширить до трёх или пяти лет. Клиентская поддержка осуществляется специалистами «Инферит» на всей территории России.

«Новый Multi-GPU сервер Inferit — это ответ на запрос рынка на надёжные, производительные и при этом удобные в эксплуатации решения. Благодаря партнёрству с разработчиком систем жидкостного охлаждения нам удалось реализовать модель, которая справляется с самыми требовательными задачами, сохраняя эффективность и доступность», — говорит руководитель департамента продуктовых решений «Инферит Техника».

Успехи AMD в разработке серверных процессоров EPYC на фоне проблем Intel с запуском некоторых поколений Xeon привели к постоянному росту в последние годы доли рынка серверных процессоров AMD, причём как по количеству единиц, так и по выручке, пишет ресурс HardwareLuxx. Впрочем, и AMD, и Intel уже угрожает Arm.

В последнем отчёте Bank of America отмечается, что если в 2017 году доля рынка Intel составляла почти 100 %, в то время как процессоры AMD и Arm на нём практически, то в 2024 году доля AMD на рынке серверных процессоров составила около 33 % (и продолжает расти), а доля рынка Intel сократилась почти до 63 %. Переломный момент наступил после появления архитектуры AMD Zen и проблем Intel с переводом Xeon на более тонкие техпроцессы. К концу 2022 года доля рынка AMD превысила отметку в 20 %, в то время как доля Intel впервые упала ниже 75 %.

Согласно оценкам Bank of America, основанным на данных IDC и Mercury Research, доля AMD на рынке серверных процессоров вырастет в 2025 году примерно до 36 %, в то время как доля Intel снизится примерно до 55 %. Также растёт конкуренция со стороны серверных процессоров с архитектурой Arm, поскольку поставщики облачных услуг ищут более энергоэффективные и экономичные варианты, а совокупная стоимость владения (TCO) в ЦОД становится все более важным фактором. Прогнозируется, что в следующем году на них будет приходиться примерно 9 % рынка серверных процессоров.

Источник изображения: BofA Global Research

В 2027 году, как ожидается доля рынка AMD может достичь 40 %, а доля Intel упадет ниже 50 %. Доля процессоров с Arm-архитектурой может составить от 10 до 12 %. Сама Arm Holdings намерена уже до конца этого занять половину рынка чипов для ЦОД, куда, впрочем, входят не только CPU. SoftBank, владеющая крупнейшей долей в Arm Holdings, решила приобрести разработчики серверных Arm-процессоров Ampere Computing.

С 2028 года ожидается, что AMD и Intel будут в равных условиях. Следует отметить, что речь идёт о доле рынка исходя из выручки, то есть о продажах в денежном выражении, а не в количественном. Доход AMD в основном приносят высокопроизводительные многоядерные процессоры, в то время как Intel по-прежнему выпускает различные недорогие чипы. Как полагают аналитики, эта тенденция вряд ли изменится. AMD демонстрирует устойчивое развитие в серверном сегменте и готовит процессоры Venice, в то время как Intel пытается переломить ситуацию с помощью серии Xeon 6.

Компания HPE представила серверы ProLiant Compute DL325 и DL345 поколения Gen12, оптимизированные для рабочих нагрузок с интенсивным использованием памяти, таких как виртуализация и периферийные вычисления. В основу новинок положена аппаратная платформа AMD EPYC Turin. Серверы 12-го поколения на базе Intel Xeon 6 компания представила зимой.

Поставки систем будут организованы в июле нынешнего года. Тогда же, по-видимому, будт раскрыты полные характеристики новинок. Пока известно, что модель ProLiant Compute DL325 Gen12 выполнена в форм-факторе 1U. Она имеет односокетную конфигурацию с возможностью использования воздушного и жидкостного охлаждения. Доступны 24 слота для модулей оперативной памяти, а максимально поддерживаемый объём ОЗУ составляет 6 Тбайт.

Источник изображений: HPE

Сервер будет предлагаться в различных конфигурациях, в том числе с возможностью установки до четырёх однослотовых GPU. Есть два разъёма OCP NIC 3.0 SFF. Во фронтальной части расположены отсеки для SFF-накопителей: в частности, предусмотрено исполнение с восемью посадочными местами для таких устройств. Сзади находятся порты USB, гнездо RJ45 для сетевого кабеля, аналоговый интерфейс D-Sub. Упомянуты средства управления HPE Integrated Lights-Out (HPE iLO 7). Говорится о защите от будущих кибератак, основанных на квантовых вычислениях.

Вариант ProLiant Compute DL345 Gen12, по сути, представляет собой модификацию DL325 в формате 2U. Ключевые характеристики остались прежними: один разъём для процессора EPYC Turin (до 192 вычислительных ядер), 24 слота для модулей ОЗУ и два разъёма OCP NIC 3.0 SFF. При этом предоставляются более широкие возможности в плане формирования подсистемы хранения данных и установки карт расширения. Прочие технические характеристики серверов пока не раскрываются.

В Норвегии введён в эксплуатацию самый мощный в стране суперкомпьютер — система Olivia, созданная корпорацией HPE. Комплекс расположен в дата-центре Лефдаль (Lefdal Mine Datacenter, LMD) на базе бывшего рудника, а для его охлаждения используется холодная вода из близлежащего фьорда.

Машина построена на платформе HPE Cray Supercomputing EX (EX254n). В её состав входят 252 узла, каждый из которых содержит два 128-ядерных процессора AMD EPYC 9745 (Turin). В сумме это даёт 64 512 CPU-ядер. Кроме того, задействован GPU-кластер с 76 узлами, оснащёнными четырьмя гибридными суперчипами NVIDIA GH200: таким образом, в общей сложности применены 304 ускорителя. Используется интерконнект HPE Slingshot 11. За хранение данных отвечает система HPE Cray ClusterStor E1000 вместимостью 5,3 Пбайт.

В текущей конфигурации GPU-кластер Olivia обладает производительностью 13,2 Пфлопс (FP64) и пиковым быстродействием 16,8 Пфлопс. При этом энергопотребление составляет 219 кВт. Таким образом, машина демонстрирует производительность в 60,274 Гфлопс/Вт.

В июньском рейтинге мощнейших суперкомпьютеров мира TOP500 GPU-комплекс Olivia располагается на 117-й позиции, тогда как в списке самых энергоэффективных суперкомпьютеров GREEN500 он занимает 22-ю строку. CPU-блок Olivia занимает 271-е место в рейтинге с фактической и пиковой FP64-производительностью 4,25 и 4,95 Пфлопс соответственно.

Источник изображения: Sigma2

Olivia эксплуатируется государственной компанией Sigma2. Применять суперкомпьютер планируется для проведения исследований в различных областях, включая изменения климата, здравоохранение, ИИ и пр. Суперкомпьютер обладает возможностями для дальнейшего расширения. В частности, количество ядер CPU может быть увеличено до 119 808. Кроме того, могут быть добавлены ещё 224 ускорителя.

AMD вместе с ускорителями Instinct MI350X/MI355X представила 7-ю версию своего открытого программного стека ROCm (Radeon open compute). Как сообщает компания, ROCm 7.0 предназначен для удовлетворения растущих потребностей рабочих нагрузок генеративного ИИ и HPC, одновременно расширяя возможности разработчиков за счёт доступности, эффективности и активного сотрудничества сообщества.

По данным AMD, платформа ROCm 7 предлагает более чем в 3,5 раза большую производительность инференса, чем ROCm 6, и в 3 раза большую эффективность обучения. Это стало возможным благодаря улучшениям производительности и поддержке типов данных с меньшей точностью, таких как FP4 и FP6. Дальнейшие улучшения в коммуникационных стеках позволили оптимизировать использование ускорителя и перемещение данных.

ROCm 7 поддерживает распределённый инференс, а также фреймворки SGLang, vLLM и llm-d. Платформа ROCm 7 создавалась совместно с этими партнёрами, включая разработку общих интерфейсов и примитивов для обеспечения эффективного распределённого инференса на платформах AMD.

Источник изображений: AMD

Вместе с ROCm 7 компания представила MLOps-платформу ROCm Enterprise AI для бесперебойных ИИ-операций в корпоративном сегменте. Платформа предлагает инструменты для тонкой настройки модели и интеграции как со структурированными, так и неструктурированными рабочими процессами. AMD заявила, что работает с партнёрами по экосистеме над созданием эталонных реализаций для таких приложений, как чат-боты и обобщение документов.

AMD отметила, что тесное партнёрство гарантирует разработчикам доступ к лучшим в своем классе инструментам, постоянному улучшению производительности и открытой среде для быстрой итерации и развёртывания. Также AMD представила партнёров экосистемы ROCm, которые используют преимущества данной платформы:

• Meta✴ — выполнение рабочих нагрузок ранжирования, рекомендаций и генерации контента на ускорителях AMD Instinct, в том числе с использованием моделей Llama.
• Microsoft — Instinct MI300X теперь поддерживает как проприетарные, так и открыте модели в Azure.
• Red Hat OpenShift AI — поддержка масштабируемого инфренса LLM и ИИ-операций с ROCm на Red Hat OpenShift AI для гибридных облачных сред.
• Cohere — развёртывание модели Command R+ со 104 млрд параметров и контекстным окном в 128 тыс. токенов на ускорителях AMD Instinct с использованием vLLM и ROCm для инференса корпоративного уровня.

Кроме того, AMD представила «простую в использовании платформу для разработчиков» AMD Developer Cloud, обеспечивающую быстрый доступ к AMD Instinct с возможностью масштабирования от одного (192 Гбайт памяти) до восьми AMD Instinct MI300X (1536 Гбайт памяти). Сообщается, что конфигурации с одним ускорителем в основном используются для рабочих нагрузок инференса на «лёгких» моделях, тогда как максимальная конфигурация обеспечивает распределённое обучение, тонкую настройку и высокопроизводительный инференс для крупномасштабных моделей.

AMD сообщила, что платформа AMD Developer Cloud была разработана с учётом четырёх основных целей:

• Ускорение внедрения AMD GPU — расширение доступа к ускорителям для широкого круга разработчиков и их сообществ;
• Демонстрация производительности — практический опыт компании подчёркивает удобство использования и развёртывания AMD GPU, гарантируя разработчикам возможность использовать всю их мощь;
• Поддержка open source — компания предоставляет возможность ключевым участникам легко интегрировать собственную поддержку AMD GPU в свои проекты;
• Содействие обучению и сотрудничеству — наличие образовательного контента по запросу и интерактивных форумов.

По словам компании, AMD Developer Cloud предполагает различные варианты использования. Решение идеально подходит для независимых разработчиков AI/ML, работающих над низкоуровневым программированием, разработкой ядер (kernel) или корпоративных приложений и проектов, нацеленных на нативную поддержку AMD. Также платформу можно использовать для мероприятий и хакатонов, обеспечивая масштабируемую поддержку образовательных и практических мероприятий с предоставлением кредитов на использование ускорителей во время семинаров, хакатонов, конкурсов и демонстраций.

Также с выходом ROCm 7 появилась поддержка ноутбуков и рабочих станциях на Windows с видеокартами Radeon и процессорами Ryzen AI. С этим связан ещё один важный анонс — компания представила программу ROCm on Radeon Test Drive, которая будет запущена этим летом партнёрстве с различными поставщиками оборудования (первыми стали Colfax и System76), чтобы упростить разработчикам возможность опробовать ROCm на GPU Radeon, передаёт Phoronix. В рамках Radeon Test Drive предоставляется возможность удалённо протестировать GPU Radeon (PRO).

AMD продолжает укреплять команду специалистов в сфере ИИ за счёт привлечения талантливых разработчиков, а также поглощения ИИ-стартапов. На минувшей неделе Шарон Чжоу (Sharon Zhou, вторая справа на фото ниже), соучредитель и гендиректор ИИ-стартапа Lamini (PowerML Inc.) сообщила в соцсети X, что она и несколько сотрудников присоединяются к AMD.

Комментируя переход, представитель AMD сообщил ресурсу CRN, что это было наймом специалистов, а не приобретением команды, как это было в случае с разработчиком ИИ-чипов Untether AI, который фактически прекратил существование после сделки. В настоящее время неизвестно, какой будет дальнейшая судьба Lamini, которую в прошлом году покинул Грег Диамос (Greg Diamos), бывший архитектор ПО NVIDIA CUDA, основавший компанию вместе с Чжоу в 2022 году.

До основания Lamini Чжоу работала менеджером по ML-продуктам в Google, менеджером по продуктам в ИИ-стартапах Kensho Technologies и Tamr, а также занимала должность внештатного преподавателя компьютерных наук в Стэнфордском университете, где она получила докторскую степень по этой же специальности. В AMD её назначили на должность вице-президента по ИИ.

Источник изображения: Sharon Zhou/X

Платформа Lamini позволяет компаниям настраивать и кастомизировать большие языковые модели (LLM) с использованием собственных данных. В частности, Lamini предложила новый подход под названием Mixture of Memory Experts (MoME), направленный на повышение производительности LLM и фактической точности путем радикального снижения частоты галлюцинаций с 50 % до 5 %. Утверждается, что этот подход позволяет значительно сократить объём вычислительных ресурсов для обучения LLM, а также продолжительность этого процесса.

В 2023 году AMD представила Lamini как одного из первых независимых поставщиков ПО, поддержавших её ускорители Instinct. В сентябре того же года Lamini сообщила, что использует более чем 100 ускорителей серии Instinct MI200 и что платформа AMD ROCm «достигла программного паритета» с NVIDIA CUDA. До определённого момента ИИ-платформа Lamini была единственной коммерческой платформой, целиком и полностью работающей на базе AMD Instinct.

В прошлом году стартап привлек финансирование в размере $25 млн от нескольких инвесторов, включая венчурное подразделение AMD, Эндрю Ына (Andrew Ng), гендиректора Dropbox Дрю Хьюстона (Drew Houston), и Лип-Бу Тана (Lip-Bu Tan), который в начале этого года стал гендиректором Intel. Помимо команды Untether AI, AMD приобрела в течение последних нескольких неделе разработчика систем кремниевой фотоники Enosemi и стартапа Brium, специализирующегося на инструментах оптимизации ИИ ПО для различной аппаратной инфраструктуры.