США ввели новые ограничения на поставку чипов NVIDIA в Китай, которые теперь распространяются на ускорители A800 и H800, представляющие собой модифицированные версии A100 и H100, созданные компанией с учётом санкционных требований после объявленного в октябре прошлого года запрета на поставку последних в Поднебесную. Под запрет также попали ускорители L40/L40S и даже игровые RTX 4090.

Как сообщает Bloomberg, новые экспортные правила США, опубликованные во вторник, направлены на то, чтобы помешать Китаю получить доступ к передовым технологиям для их военного использования. Касаются ли новые правила урезанных решений Intel и AMD, не уточняется.

Также было объявлено о пополнении «чёрного списка» двумя китайскими стартапами по производству ИИ-чипов Shanghai Biren Intelligent Technology Co., который ухудшил характеристики своих ускорителей, чтобы не попасть под санкции, и Moore Threads Intelligent Technology Beijing Co и их дочерними компаниями, для поставки которым теперь придётся получать лицензию правительства США. На рассмотрение запросов отводится 25 дней. Эти стартапы считаются потенциальными конкурентами NVIDIA.

Shanghai Biren выразила протест по поводу этого решения, и призвала Министерство торговли США его пересмотреть. За день до этого, в понедельник, выступая на очередном брифинге для прессы в Пекине, пресс-секретарь министерства иностранных дел Китая Мао Нин (Mao Ning) заявила, что КНР выступает против, чтобы США политизировали и превращали в оружие вопросы торговли и технологии.

Источник изображения: NVIDIA

Комментируя решение, представитель NVIDIA отметил, что учитывая мировой спрос на продукцию, компания не ожидает существенного влияния ограничений на финансовые результаты в ближайшем будущем. Однако рынок уже утром отреагировал на введение новых экспортных ограничений США падением акций ряда ведущих производителей чипов. Акции NVIDIA упали примерно на 6 %, Broadcom — на 3,5 %. Marvell и Intel — 3,3 и 3,5 % соответственно.

Bloomberg отметил, что обновлённые ограничения в целом допускают продажу передовых коммерческих чипов китайским компаниям для использования в потребительских продуктах, таких как смартфоны, компьютеры и электромобили, но ограничивают возможность поставки передовых ИИ-чипов, которые могут использоваться в ЦОД.

Администрация Байдена также ввела лицензию на продажу чипов более чем 40 странам, которые могут использоваться китайскими фирмами в качестве посредников для обхода контроля США. Кроме того, заявлено о расширении перечня оборудования для производства чипов, подпадающего под экспортные ограничения по поставке в Китай, хотя конкретные наименования всё ещё согласуются с Нидерландами, где базируется ASML Holding NV. Сама ASML заявила, что новые правила будут применяться к «ограниченному числу» заводов в Китае, связанных с передовым производством полупроводников.

Вместе с тем, обновлённые правила пока не включают ограничения на доступ к облачным сервисам компаний из США и их союзников, хотя администрация Белого дома планирует изучить потенциальные риски для национальной безопасности, связанные с этим доступом, а также варианты их потенциального устранения.

Компания Untether AI анонсировала специализированный ИИ-ускоритель tsunAImi tsn200, предназначенный для выполнения задач инференса за пределами дата-центров и облачных платформ. Изделие, как утверждается, обеспечивает лучшее в отрасли соотношение производительности, потребляемой энергии и цены.

Решение выполнено в виде низкопрофильной карты расширения с интерфейсом PCIe 4.0 х16. В основу положен чип runAI200, изготовленный по 16-нм технологии. Он имеет динамически изменяемую частоту, которая достигает 840 МГц.

Источник изображения: Untether AI

Ускоритель несёт на борту 204 Мбайт памяти SRAM с пропускной способностью до 251 Тбайт/с. Производительность на ИИ-операциях, согласно техническим характеристикам, достигает 500 TOPS (INT8). Типовое энергопотребление заявлено на уровне 40 Вт, максимальное — 75 Вт. Задействована система пассивного охлаждения. Диапазон рабочих температур простирается от 0 до +55 °C. Питание подаётся через дополнительный коннектор PCIe на плате.

Ускоритель, как утверждается, позволяет осуществлять вычисления ЦОД-класса без привязки к облаку. Изделие может применяться для видеоаналитики в режиме реального времени, обнаружения и классификации объектов, проверки сетевых пакетов с целью регулирования и фильтрации трафика и для других задач.

Компания NVIDIA, по сообщению ресурса VideoCardz, раскрыла планы по выпуску ускорителей нового поколения, предназначенных для применения в ЦОД и на площадках гиперскейлеров. NVIDIA указывает лишь ориентировочные сроки выхода решений, поскольку фактические даты зависят от многих факторов, таких как макроэкономическая обстановка, готовность сопутствующего ПО, доступность производственных мощностей и пр.

В конце мая нынешнего года NVIDIA объявила о начале массового производства суперчипов Grace Hopper GH200, предназначенных для построения НРС-систем и платформ генеративного ИИ. Эти изделия содержат 72-ядерный Arm-процессор NVIDIA Grace и ускоритель NVIDIA H100 с 96 Гбайт памяти HBM3.

Как сообщается, ориентировочно в конце 2024-го или в начале 2025 года на смену Grace Hopper GH200 придет решение Blackwell GB200. Характеристики изделия пока не раскрываются. Но отмечается, что архитектура Blackwell будет применяться как в ускорителях для дата-центров, так и в потребительских продуктах для игровых компьютеров (предположительно, серии GeForce RTX 50).

На 2025 год, согласно обнародованному графику, намечен анонс загадочной архитектуры «Х». Речь, в частности, идёт о решении с обозначением GX200. Изделия GB200 и GX200 подойдут для решения задач инференса и обучения моделей. Примечательно, что старшие чипы также получат NVL-версии. Вероятно, вариант GH200 с увеличенным объёмом набортной памяти как раз и будет называться GH200NVL.

Источник изображения: NVIDIA

При этом теперь компания разделяет продукты на Arm- и x86-направления. Первое, судя по всему, так и будет включать гибридные решения GB200 и GX200, а второе, вероятно, вберёт в себя в первую очередь ускорители в форм-факторе PCIe-карт и универсальные ускорители начального уровня серии 40: B40 и X40.

Сопутствовать новым чипам будут сетевые решения Quantum (InfiniBand XDR/GDR) и Spectrum-X (Ethernet) классов 800G и 1600G (1.6T). И если в области InfiniBand компания фактически является монополистом, то в Ethernet-сегменте она несколько отстаёт от, например, Broadcom, у которой теперь есть даже выделенные ИИ-решения, Cisco и Marvell. А вот про будущее NVLink компания пока ничего не рассказала.

Компания OpenAI, создавшая чат-бот на базе искусственного интеллекта ChatGPT, изучает возможность выпуска собственных ИИ-чипов, сообщает Reuters. По словам источников агентства, изучение этого вопроса продвинулось настолько далеко, что OpenAI даже провела оценку возможности покупки одного из производителей чипов, имя которого выяснить не удалось. На фоне бума ИИ на рынке наблюдается нехватка специализированных ускорителей, в первую очередь NVIDIA.

Как утверждают источники, в прошлом году OpenAI рассматривала ряд вариантов решения этой проблемы, включая разработку собственного ИИ-чипа, более тесное сотрудничество с другими производителями ИИ-чипов, в том числе, NVIDIA, а также расширение круга поставщиков ускорителей. Впрочем, даже если OpenAI приобретёт производителя чипов, на создание ИИ-ускорителя уйдёт несколько лет, в течение которых она всё равно будет зависеть от сторонних поставщиков, таких как NVIDIA и AMD.

Фото: Laura Ockel / Unsplash

Гендиректор Open AI Сэм Альтман (Sam Altman), назвавший приобретение большего количества ИИ-чипов главным приоритетом, публично жаловался на нехватку ускорителей вычислений на рынке, порядка 80 % которого контролирует NVIDIA. Помимо нехватки чипов Альтман назвал ещё одну проблему, имеющуюся у компании — высокие затраты на эксплуатацию аппаратного обеспечения, необходимого для реализации проектов и продуктов компании. Microsoft, которой принадлежит 49 % OpenAI, повторяет те же тезисы и ищет более экономичные альтернативы GPT-4.

С 2020 года OpenAI использует для разработки ИИ-решений мощный суперкомпьютер, построенный Microsoft на базе 10 тыс. ускорителей NVIDIA. Работа ChatGPT обходится компании в немалую сумму. Согласно данным аналитика Bernstein Стейси Расгон (Stacy Rasgon), затраты на выполнение каждого запроса составляют примерно $0,04. Даже при росте количества запросов до десятых долей от объёма поисковых запросов Google, для запуска чат-бота потребуется потратить $48 млрд на первичную закупку ИИ-чипов, а для дальнейшего поддержания работы придётся тратить на ускорители ещё по $16 млрд ежегодно.

Фото: Maxence Pira / Unsplash

В случае выпуска собственных чипов OpenAI пополнит небольшую группу крупных IT-игроков вроде Google и Amazon, которые стремятся взять под свой контроль разработку «кремния», лежащего в основе их бизнеса. OpenAI пока не решила, готова ли она тратить сотни миллионов долларов в год на создание чипа без каких либо гарантий на успех. Например, Meta✴ при разработке ASIC столкнулась с проблемами, из-за которых пришлось отказаться от дальнейшей работы над некоторыми ИИ-чипами, а выход первого ИИ-ускорителя MTIA задержался на два года. Из-за этого, в частности, Meta✴ была вынуждена приостановить строительство ряда своих дата-центров, чтобы адаптировать их для размещения ускорителей NVIDIA.

По данным The Information, Microsoft тоже разрабатывает собственный ИИ-чип, а OpenAI тестирует его. Впервые об ИИ-ускорителях Athena, которые компания якобы разрабатывала с 2019 года, стало известно в апреле этого года. Они должны помочь Microsoft снизить зависимость от продукции NVIDIA, дефицит которых компания признала угрозой бизнесу. Ранее Microsoft, по слухам, подписала соглашения с CoreWeave и Lambda Labs, а также обсуждала с Oracle совместное использования ускорителей NVIDIA. Причина кроется в политике NVIDIA, которая, как считается, гораздо охотнее продаёт «железо» малым провайдерам, которые не пытаются создавать собственные ИИ-чипы, т.е. не опасны для бизнеса «зелёных».

Стартап Lemurian Labs, специализирующийся, как он сам говорит, на решении вычислительных проблем, связанных с использованием ИИ, по сообщению HPCwire, провёл начальный раунд финансирования, в ходе которого привлечено $9 млн. Средства предоставили Oval Park Capital, Good Growth Capital, Raptor Group, Alumni Ventures и др. В команду Lemurian Labs входят бывшие специалисты Google, Microsoft, NVIDIA, AMD и Intel. Компания ставит перед собой задачу создать принципиально новый подход к обработке алгоритмов ИИ с целью снижения энергопотребления и затрат.

Источник изображений: Lemurian Labs

Стартап отмечает, что платформы ИИ развиваются с беспрецедентной скоростью. Это приводит к стремительному увеличению масштаба моделей, что порождает необходимость в огромных вычислительных ресурсах. В результате, аппаратные платформы потребляют непомерное количество энергии, что делает разработку ИИ чрезвычайно дорогостоящей и экологически неустойчивой. Например, развёртывание GPT3 в масштабах поисковика Google потребует 400 МВт и более $100 млрд. Кроме того, создаётся дефицит ускорителей. Впрочем, компания и сама намерена создать программно-аппаратный комплекс.

Lemurian Labs предлагает решить проблему путём создания специализированной платформы, использующей новый формат данных PAL8 (Parallel Adaptive Logarithm, или параллельный адаптивный логарифм). Она, по словам создателей, позволит ускорить рабочие нагрузки ИИ, увеличив пропускную способность по сравнению с GPU-решениями почти в 20 раз при ⅒ от общей стоимости. Вкупе с сопутствующим ПО станет возможным значительное увеличение производительности без роста потребляемой мощности, что позволит с высокой эффективностью разрабатывать ресурсоёмкие ИИ-приложения.

Компания создаёт специализированный компилятор, который динамически распределяет задачи для максимального использования ресурсов оборудования. Это делает написание кода для кластера из 1 тыс. узлов таким же простым, как и для одного. Вместе с тем новый тип данных не только даёт лучшее представление чисел по сравнению с FP-форматами, но и обеспечивает десятикратное увеличение эффективности, позволяя обойти существующие ограничения, связанные с параллельными вычислениями. Плюс к этому задействована многоуровневая архитектура памяти, оптимизирующая потоки данных с целью увеличения пропускной способности и эффективности без ущерба для универсальности.

Как заявил недавно на конференции Code Conference технический директор Microsoft Кевин Скотт (Kevin Scott), приобрести ускорители компании NVIDIA для ИИ и HPC-вычислений уже не так сложно, как ещё несколько месяцев назад. По данным портала Tom’s Hardware, проблема доступности и поставок активно решается производителем.

По словам того же Скотта, ещё не так давно спрос намного превышал предложение всех производителей ускорителей. Хотя дефицит ещё не исчез, ситуация улучшается буквально с каждой неделей. В последнее время драйвером огромного спроса на ускорители были техногиганты, включая Microsoft, активно осваивающие рынок ИИ-продуктов, в том числе для сторонних клиентов. Для тренировки больших языковых моделей (LLM), обычно используются ускорители именно NVIDIA, в результате чего спрос на них в 2023 году стремительно взлетел, а рост стоимости акций «зелёных» с начала года составил 190 %.

Источник изображения: NVIDIA

В ходе недавнего отчёта о доходах NVIDIA сообщила о намерении повысить объёмы поставок в следующем году. Параллельно появилась информация о том, что трафик одного из самых популярных чат-ботов, ChatGPT от OpenAI, существенно падал в течение трёх месяцев подряд. OpenAI использует облачную платформу Microsoft Azure, так что нагрузка на неё в последнее время не столь велика. По словам Скотта, занимающегося в числе прочего и распределением ресурсов, эта задача в последние кварталы была чрезвычайно трудной, но теперь выполнять свои обязанности стало намного легче.

Скотт не стал комментировать слухи о том, что Microsoft якобы разрабатывает собственные ИИ-чипы, но подтвердил, что компания прилагает немалые усилия в работе над полупроводниковыми проектами и инвестировала в них немало средств. При этом он признал, что в последние годы NVIDIA остаётся ведущим партнёром Microsoft в ИИ-секторе, но подчеркнул, что компания будет выбирать наилучшие решения для своих систем, какое бы происхождение они ни имели.

Компания AMD анонсировала специализированный ускоритель Alveo UL3524 на базе FPGA, ориентированный на финтех-сферу. Решение, как утверждается, позволяет трейдерам, хедж-фондам, брокерским конторам и биржам совершать операции с задержками наносекундного уровня.

В основу новинки положен чип FPGA Virtex UltraScale+, выполненный по 16-нм технологии. Конфигурация включает 64 трансивера с ультранизкой задержкой, 780 тыс. LUT и 1680 DSP.

Отмечается, что Alveo UL3524 обеспечивает в семь раз меньшую задержку по сравнению с FPGA предыдущего поколения. В частности, инновационная архитектура трансиверов с оптимизированными сетевыми ядрами позволяет добиться показателя менее 3 нс.

Источник изображения: AMD

Ускоритель может использоваться в комплексе с платформой разработки Vivado Design Suite. AMD также предоставляет разработчикам среду FINN с открытым исходным кодом, что позволяет внедрять в высокопроизводительные трейдинговые системы модели ИИ с низкими задержками.

Ускоритель выполнен в виде однослотовой карты расширения с интерфейсом PCIe 4.0 x16. Задействован система пассивного охлаждения, а показатель TDP заявлен на отметке 125 Вт. Предусмотрены четыре сетевых порта QSFP-DD. Карта несёт на борту 16 Гбайт памяти DDR4-2666 и 72 Мбайт памяти QDR II+. Весит ускоритель 832 г.

Одним из столпов своей ИИ-платформы Intel сделала разработки поглощённой когда-то Habana Labs. Но если ускорители Gaudi2 оказались конкурентоспособными, то ветку инференс-решений Goya/Greco было решено свернуть.

Любопытно, что на мероприятии Intel Innovation 2023 имя Habana Labs не упоминалось, а использовалось исключительно название Intel Gaudi. Дела у данной платформы, базирующейся на ускорителе Gaudi2, обстоят неплохо. Так, в частности, она имеет поддержку FP8-вычислений и, согласно данным Intel, не только серьёзно опережает NVIDIA A100, но успешно соперничает с H100. Фактически в тестах MLPerf только Intel смогла составить хоть какую-то серьёзную конкуренцию NVIDIA.

Изображение: Intel

Однако не все разработки Habana имеют счастливую судьбу. В 2022 году одновременно с Gaudi2 был анонсирован и инференс-ускоритель Greco, поставки которого должны были начаться во II полугодии 2023 года. Но сейчас, похоже, данная платформа признана бесперспективной. Intel не только убрала все упоминания Greco со своего сайта и ни словом не обмолвилась о них на мероприятии, но и подчистила Linux-драйвер несколько дней назад. А вот появление Gaudi3 уже не за горами.

Компания Kneron, специализирующаяся на разработке ИИ-технологий, объявила о проведении расширенного раунда инвестиций Series B, в ходе которого на развитие привлечено $49 млн. Таким образом, общая сумма вложений в рамках указанной финансовой программы достигла $97 млн.

Стартап Kneron из Сан-Диего разрабатывает чипы, которые можно использовать в умных автомобилях, роботах и других подключённых устройствах с ИИ-функциями. Компания заявляет, что приложения машинного обучения, использующие её чипы, могут стабильно работать даже без доступа в интернет.

Источник изображения: Kneron

Одно из изделий Kneron — специализированный ИИ-чип KL730. Он объединяет четырёхъядерный CPU на архитектуре Arm и акселератор для задач инференса. Реализована поддержка интерфейсов SD, USB и Ethernet. Заявленная производительность достигает 4 TOPS. При этом обеспечивается высокая энергоэффективность.

Средства на развитие в ходе раунда Series B предоставили Foxconn and HH-CTBC Partnership (Foxconn Co-GP Fund), Alltek, Horizons Ventures, Liteon Technology Corp, Adata и Palpilot. Деньги будут использованы в том числе для ускорения разработки ИИ-решений для автомобильной сферы. В целом, на сегодняшний день стартап Kneron получил финансовую поддержку в размере $190 млн.

Европейский Союз продолжает активно развивать собственное видение суперкомпьютеров ближайшего будущего, в основу которых ляжет архитектура RISC-V. За три с половиной года работы проекта Marenostrum Experimental Exascale Platform (MEEP) создана новая платформа, детально описывающая различные блоки и свойства таких HPC-систем.

Выбор микроархитектуры RISC-V в качестве основы MEEP вполне оправдан — она является открытой и позволяет разработчикам не зависеть от проприетарных наборов инструкций и аппаратных решений. Таким образом ЕС планирует достигнуть автономии в сфере супервычислений, обзаведясь собственной платформой.

Высокоуровневое описание эмулируемого ускорителя

В основе проекта MEEP лежит ядро Accelerated Memory and Compute Engine (ACME), изначально спроектированное с прицелом на применение высокоскоростной памяти HBM3 и состоящее из тайлов памяти (Memory Tile) и вычислительных тайлов VAS, объединённых меш-интерконнектом. Воплощение дизайна ACME в реальный кремний пока ещё дело будущего, но уже очевидно, что процессоры, разработанные в рамках проекта MEEP, будут иметь чиплетную компоновку.

Архитектура ACME и её строительные блоки

В конструкции ACME на долю Memory Tile выпадают все операции с подсистемами памяти, включая построение иерархических массивов, использующих разные типы памяти, в том числе MRAM и HBM3. Модули VAS включают себя по 8 процессорных ядер со своими разделами L2-кеша. Каждое такое ядро состоит из нескольких отдельных блоков: скалярного RISC-V, блока векторных операций, а также блоков ускорителей двух типов — SA-HEVC для обработки видео и SA-NN для нейросетевых задач, в частности, инференса.

Схема работы ускорителей в составе блоков VAS

По сути, каждый модуль VAS представляет собой вполне законченный многоядерный процессор RISC-V, способный работать со всеми современными форматами данных, автоматически распознающий расширенные инструкции и выполняющий их с помощью соответствующих ускорителей в своём составе.

Платформа, созданная в рамках проекта MEEP, уже функционирует как эмулируемый с помощью FPGA Xilinx полноценный прототип. Он позволяет не только вести разработку и отладку ПО для новой европейской суперкомпьютерной экосистемы, но и производить валидацию аппаратных компонентов для будущих ускорителей/процессоров с архитектурой ACME.