В связи с введением новых экспортных ограничений США, лишивших китайские компании доступа даже к ускорителям A800 и H800, предназначенным для китайского рынка, им пришлось искать альтернативу у отечественных производителей. По данным Reuters, техногигант Baidu, один из ведущих игроков на китайском рынке ИИ, ещё в августе, то есть за месяц до запрета США, разместил заказ на поставку ИИ-ускорителей у Huawei Technologies.

По словам источника Reuters, Baidu заказала для установки в 200 серверах 1600 ИИ-ускорителей Ascend 910B, разработанных Huawei разработала в качестве альтернативы NVIDIA A100. Причём к октябрю Huawei поставила порядка 1000 ускорителей. По данным источника, стоимость контракта составляет ¥450 млн ($61,83 млн), срок выполнения — до конца года. Сумма контракта сравнительно небольшая по сравнению с обычными закупками чипов китайских компаний у NVIDIA, но это может превратиться в тенденцию, грозящую американскому чипмейкеру потерей крупных клиентов.

Впрочем, уже сейчас NVIDIA, по данным The Wall Street Journal, пришлось из-за введения санкций разорвать контракты на поставку ускорителей китайским фирмам в следующем году на сумму более $5 млрд. А для Huawei это открывает доступ к рынку объёмом $7 млрд. Как сообщается, чипы Huawei уступают по производительности ускорителям NVIDIA, но для китайского рынка считаются лучшим вариантом. «Они заказали 910B, чтобы подготовиться к будущему, когда у них, возможно, больше не будет возможности делать закупки у NVIDIA», — сообщил источник Reuters.

Изображение: Huawei

Официально ускоритель Ascend 910B, представляющий собой следующее поколение 7-нм чипа Ascend 910, анонсирован не был, хотя некоторые упоминания о нём встречаются в публичных комментариях китайских компаний и учёных, а также в технических руководствах на веб-сайте Huawei. Председатель китайского IT-гиганта iFlyTek похвалил 910B, который, по его словам, «в основном такой же как NVIDIA A100», отметив, что iFlyTek сотрудничает с Huawei в деле разработки аппаратного обеспечения.

В связи с введением новых экспортных ограничений США на поставку в Китай современых технологий компания NVIDIA начала перераспределять в другие регионы поставки ускорителей A800, изначально созданных для Поднебесной взамен NVIDIA А100 (40 Гбайт) с учётом предыдущих ограничений по производительности и пропускной способности интерконнекта, установленных в октябре 2022 года.

Как сообщает ресурс CRN, на прошлой неделе американский производитель электроники PNY Technologies и системный интегратор Colfax International начали продвигать на рынке ускоритель NVIDIA A800 Active PCIe 40GB, который чип-мейкер охарактеризовал на своём сайте как «идеальную платформу для рабочих станций для ИИ, анализа данных и высокопроизводительных вычислений».

Источник изображения: Acro

Представитель PNY сообщил CRN, что компания с прошлого понедельника начала продажи нового ускорителя через партнёров в Северной Америке, Латинской Америке, Европе, Африке и Индии. Исключение составляют подсанкционные государства: Китай, Россия и большинство стран Ближнего Востока. В числе партнёров NVIDIA, которые также занимаются продвижением NVIDIA A800 Active PCIe 40GB, есть японские компании ASK Corp. и Elsa, а также индийская Acro.

Источник изображения: NVIDIA

Введение ограничений власти США объясняют намерением помешать Китаю получить доступ к новейшим технологиям для укрепления своих вооружённых сил. Ограничения коснулись и недавно выпущенного ускорителя NVIDIA L40S, который в ряде задач является неплохой альтернативой A100, а также чипов Intel и AMD. Ранее газета The Wall Street Journal сообщила, что из-за санкций NVIDIA пришлось отменить заказы на поставку ускорителей китайским фирмам в следующем году на сумму более $5 млрд.

Источник: NVIDIA

Следует уточнить, что NVIDIA A800 40 GB Active представляет собой двухслотовую PCIe-карту с активным охлаждением, но ускоритель A800 также предлагался в форм-факторе SXM. Ускоритель имеет 40 Гбайт памяти HBM2 с ПСП на уровне 1,5 Тбайт/с, а также поддерживает объединение двух карт посредством мостика NVLink, пропускная способность которого в угоду санкциям была урезана с 600 до 400 Гбайт/с. TDP составляет 240 Вт.

Провайдер ИИ-инфраструктуры Voltage Park объявил о приобретении 24 тыс. ускорителей NVIDIA H100. Как сообщает The Register, компания намерена сдавать их в аренду корпоративным клиентам, небольшим стартапам и исследовательским структурам уже в следующем году. Первые счастливчики в лице Imbue уже получили доступ, а формирование кластеров для Character.ai и Atomic AI находится на финальной стадии.

В компании подчеркнули, что мало кто понимает, насколько недостаток вычислительных мощностей вредит инновациям — для реализации многих проектов в сфере ИИ и машинного обучения требуется или ждать месяцы своей очереди для доступа к ускорителям, или, если позволяет бюджет, платить доступ здесь и сейчас заоблачные суммы. Компания рассчитывает сбалансировать спрос и предложение.

Источник изображения: NVIDIA

Voltage Park привлекла $500 млн. Ускорители купят у некоммерческой организации, поддерживаемой миллиардером Джедом Маккалебом (Jed MacCaleb), сколотившим состояние на крипторынке, а теперь заинтересовавшимся космическими проектами. Внедрение нового оборудования намечено в Техасе, Вирджинии и Вашингтоне. Компания намерена расширить портфолио долгосрочных и краткосрочных тарифов, а в начале следующего года появится возможность даже почасовой аренды мощностей отдельных ускорителей.

Доступ к одному ускорителю у Voltage Park будет стоить от $1,89/час, но полные условия, в том числе особенности инфраструктуры, не раскрываются. Для сравнения — инстанcы AWS EC2 P5 с восемью NVIDIA H100 обойдутся в $98,32/час при доступе по запросу или же в $43,16/час при заключении контракта на три года. Voltage Park по запросу будет предоставлять мощности от 1 до 8 ускорителей, для доступа к 8–248 H100 придётся подписать краткосрочный договор аренды. Наконец, годовой контракт даёт доступ к 4088 ускорителям ($67,7 млн/год).

Это далеко не единственная компания, выросшая на фоне высокого спроса на продукцию NVIDIA и AMD. Например, CoreWeave при сотрудничестве с NVIDIA построила собственный кластер, включающий более 22 тыс. ускорителей H100.

По большей части современные нейросетевые технологии используют ускорители на базе GPU или родственных архитектур как для обучения, так и для инференса. Впрочем, разработчики альтернативных решений не дремлют. В число последних входит компания IBM, недавно сообщившая об успешном завершении испытаний нового нейроморфного процессора NorthPole.

Разработкой чипов, в том или ином виде пытающихся имитировать работу живого мозга, компания занимается давно — чипы IBM TrueNorth второго поколения увидели свет более пяти лет назад. Уже тогда разработчики отошли от традиционных архитектур, отказавшись от понятия памяти как внешнего устройства.

Источник изображений здесь и далее: IBM Research

В итоге TrueNorth получил 400 Мбит (~50 Мбайт) сверхбыстрой интегрированной памяти SRAM (~100 Кбайт на ядро, всего 4096 ядер) и мог эмулировать 1 млн нейронов с 256 млн межнейронных связей. Чип моделировал бинарные нейроны, а вес каждого синапса был закодирован двумя битами.

FPGA (слева) используется только в качестве PCIe-моста

Новый 12-нм нейрочип NorthPole устроен несколько иначе: он состоит из 256 ядер, которые, впрочем, всё так же используют внутреннюю память общим объёмом 192 Мбайт. Дополнительно имеется буфер объёмом 32 Мбайт для IO-тензоров. Каждое из ядер NorthPole за такт способно выполнять 2048 операций с 8-бит точностью вычислений. В режимах 4- и 2-бит точности производительность растёт соответствующим образом. По словам IBM, новый NPU превосходит предшественника в 4000 раз и на частоте 400 МГц мог бы развивать производительность в районе 840 Топс.

Из-за довольно ограниченного объёма памяти NorthPole не подходит для запуска сложных нейросетей вроде GPT-4, но его главное назначение не в этом — чип позиционируется в качестве основы систем машинного зрения, в том числе в системах автопилотов, хирургических роботов и т.п. И в этом качестве новинка, состоящая из 22 млрд транзисторов и имеющая площадь кристалла 800 мм², проявляет себя очень хорошо.

Результаты тестов на эффективность архитектуры NorthPole

Так, в тестах ResNet-50 NorthPole в 25 раз превзошёл по энергоэффективности сопоставимые по техпроцессу GPU, а показатели латентности при этом оказались в 22 раза лучше. В пересчёте на транзисторную сложность IBM говорит о превосходстве даже над новейшими 4-нм решениями NVIDIA. Полные результаты тестирования доступны на science.org.

К сожалению, речь всё ещё идёт об экспериментальном прототипе с довольно грубым по современным меркам 12-нм техпроцессом. По словам исследователей, производительность NorthPole благодаря более совершенным техпроцессам удалось поднять бы ещё в 25 раз. Параллельно IBM ведёт разработки в области ИИ-чипов с элементами аналоговой логики. Достигнутые в рамках 14-нм техпроцесса результаты позволяют говорить об удельной производительности в районе 10,5 Топс/Вт или 1,59 Топс/мм².

США ввели новые ограничения на поставку чипов NVIDIA в Китай, которые теперь распространяются на ускорители A800 и H800, представляющие собой модифицированные версии A100 и H100, созданные компанией с учётом санкционных требований после объявленного в октябре прошлого года запрета на поставку последних в Поднебесную. Под запрет также попали ускорители L40/L40S и даже игровые RTX 4090.

Как сообщает Bloomberg, новые экспортные правила США, опубликованные во вторник, направлены на то, чтобы помешать Китаю получить доступ к передовым технологиям для их военного использования. Касаются ли новые правила урезанных решений Intel и AMD, не уточняется.

Также было объявлено о пополнении «чёрного списка» двумя китайскими стартапами по производству ИИ-чипов Shanghai Biren Intelligent Technology Co., который ухудшил характеристики своих ускорителей, чтобы не попасть под санкции, и Moore Threads Intelligent Technology Beijing Co и их дочерними компаниями, для поставки которым теперь придётся получать лицензию правительства США. На рассмотрение запросов отводится 25 дней. Эти стартапы считаются потенциальными конкурентами NVIDIA.

Shanghai Biren выразила протест по поводу этого решения, и призвала Министерство торговли США его пересмотреть. За день до этого, в понедельник, выступая на очередном брифинге для прессы в Пекине, пресс-секретарь министерства иностранных дел Китая Мао Нин (Mao Ning) заявила, что КНР выступает против, чтобы США политизировали и превращали в оружие вопросы торговли и технологии.

Источник изображения: NVIDIA

Комментируя решение, представитель NVIDIA отметил, что учитывая мировой спрос на продукцию, компания не ожидает существенного влияния ограничений на финансовые результаты в ближайшем будущем. Однако рынок уже утром отреагировал на введение новых экспортных ограничений США падением акций ряда ведущих производителей чипов. Акции NVIDIA упали примерно на 6 %, Broadcom — на 3,5 %. Marvell и Intel — 3,3 и 3,5 % соответственно.

Bloomberg отметил, что обновлённые ограничения в целом допускают продажу передовых коммерческих чипов китайским компаниям для использования в потребительских продуктах, таких как смартфоны, компьютеры и электромобили, но ограничивают возможность поставки передовых ИИ-чипов, которые могут использоваться в ЦОД.

Администрация Байдена также ввела лицензию на продажу чипов более чем 40 странам, которые могут использоваться китайскими фирмами в качестве посредников для обхода контроля США. Кроме того, заявлено о расширении перечня оборудования для производства чипов, подпадающего под экспортные ограничения по поставке в Китай, хотя конкретные наименования всё ещё согласуются с Нидерландами, где базируется ASML Holding NV. Сама ASML заявила, что новые правила будут применяться к «ограниченному числу» заводов в Китае, связанных с передовым производством полупроводников.

Вместе с тем, обновлённые правила пока не включают ограничения на доступ к облачным сервисам компаний из США и их союзников, хотя администрация Белого дома планирует изучить потенциальные риски для национальной безопасности, связанные с этим доступом, а также варианты их потенциального устранения.

Компания Untether AI анонсировала специализированный ИИ-ускоритель tsunAImi tsn200, предназначенный для выполнения задач инференса за пределами дата-центров и облачных платформ. Изделие, как утверждается, обеспечивает лучшее в отрасли соотношение производительности, потребляемой энергии и цены.

Решение выполнено в виде низкопрофильной карты расширения с интерфейсом PCIe 4.0 х16. В основу положен чип runAI200, изготовленный по 16-нм технологии. Он имеет динамически изменяемую частоту, которая достигает 840 МГц.

Источник изображения: Untether AI

Ускоритель несёт на борту 204 Мбайт памяти SRAM с пропускной способностью до 251 Тбайт/с. Производительность на ИИ-операциях, согласно техническим характеристикам, достигает 500 TOPS (INT8). Типовое энергопотребление заявлено на уровне 40 Вт, максимальное — 75 Вт. Задействована система пассивного охлаждения. Диапазон рабочих температур простирается от 0 до +55 °C. Питание подаётся через дополнительный коннектор PCIe на плате.

Ускоритель, как утверждается, позволяет осуществлять вычисления ЦОД-класса без привязки к облаку. Изделие может применяться для видеоаналитики в режиме реального времени, обнаружения и классификации объектов, проверки сетевых пакетов с целью регулирования и фильтрации трафика и для других задач.

Компания NVIDIA, по сообщению ресурса VideoCardz, раскрыла планы по выпуску ускорителей нового поколения, предназначенных для применения в ЦОД и на площадках гиперскейлеров. NVIDIA указывает лишь ориентировочные сроки выхода решений, поскольку фактические даты зависят от многих факторов, таких как макроэкономическая обстановка, готовность сопутствующего ПО, доступность производственных мощностей и пр.

В конце мая нынешнего года NVIDIA объявила о начале массового производства суперчипов Grace Hopper GH200, предназначенных для построения НРС-систем и платформ генеративного ИИ. Эти изделия содержат 72-ядерный Arm-процессор NVIDIA Grace и ускоритель NVIDIA H100 с 96 Гбайт памяти HBM3.

Как сообщается, ориентировочно в конце 2024-го или в начале 2025 года на смену Grace Hopper GH200 придет решение Blackwell GB200. Характеристики изделия пока не раскрываются. Но отмечается, что архитектура Blackwell будет применяться как в ускорителях для дата-центров, так и в потребительских продуктах для игровых компьютеров (предположительно, серии GeForce RTX 50).

На 2025 год, согласно обнародованному графику, намечен анонс загадочной архитектуры «Х». Речь, в частности, идёт о решении с обозначением GX200. Изделия GB200 и GX200 подойдут для решения задач инференса и обучения моделей. Примечательно, что старшие чипы также получат NVL-версии. Вероятно, вариант GH200 с увеличенным объёмом набортной памяти как раз и будет называться GH200NVL.

Источник изображения: NVIDIA

При этом теперь компания разделяет продукты на Arm- и x86-направления. Первое, судя по всему, так и будет включать гибридные решения GB200 и GX200, а второе, вероятно, вберёт в себя в первую очередь ускорители в форм-факторе PCIe-карт и универсальные ускорители начального уровня серии 40: B40 и X40.

Сопутствовать новым чипам будут сетевые решения Quantum (InfiniBand XDR/GDR) и Spectrum-X (Ethernet) классов 800G и 1600G (1.6T). И если в области InfiniBand компания фактически является монополистом, то в Ethernet-сегменте она несколько отстаёт от, например, Broadcom, у которой теперь есть даже выделенные ИИ-решения, Cisco и Marvell. А вот про будущее NVLink компания пока ничего не рассказала.

Компания OpenAI, создавшая чат-бот на базе искусственного интеллекта ChatGPT, изучает возможность выпуска собственных ИИ-чипов, сообщает Reuters. По словам источников агентства, изучение этого вопроса продвинулось настолько далеко, что OpenAI даже провела оценку возможности покупки одного из производителей чипов, имя которого выяснить не удалось. На фоне бума ИИ на рынке наблюдается нехватка специализированных ускорителей, в первую очередь NVIDIA.

Как утверждают источники, в прошлом году OpenAI рассматривала ряд вариантов решения этой проблемы, включая разработку собственного ИИ-чипа, более тесное сотрудничество с другими производителями ИИ-чипов, в том числе, NVIDIA, а также расширение круга поставщиков ускорителей. Впрочем, даже если OpenAI приобретёт производителя чипов, на создание ИИ-ускорителя уйдёт несколько лет, в течение которых она всё равно будет зависеть от сторонних поставщиков, таких как NVIDIA и AMD.

Фото: Laura Ockel / Unsplash

Гендиректор Open AI Сэм Альтман (Sam Altman), назвавший приобретение большего количества ИИ-чипов главным приоритетом, публично жаловался на нехватку ускорителей вычислений на рынке, порядка 80 % которого контролирует NVIDIA. Помимо нехватки чипов Альтман назвал ещё одну проблему, имеющуюся у компании — высокие затраты на эксплуатацию аппаратного обеспечения, необходимого для реализации проектов и продуктов компании. Microsoft, которой принадлежит 49 % OpenAI, повторяет те же тезисы и ищет более экономичные альтернативы GPT-4.

С 2020 года OpenAI использует для разработки ИИ-решений мощный суперкомпьютер, построенный Microsoft на базе 10 тыс. ускорителей NVIDIA. Работа ChatGPT обходится компании в немалую сумму. Согласно данным аналитика Bernstein Стейси Расгон (Stacy Rasgon), затраты на выполнение каждого запроса составляют примерно $0,04. Даже при росте количества запросов до десятых долей от объёма поисковых запросов Google, для запуска чат-бота потребуется потратить $48 млрд на первичную закупку ИИ-чипов, а для дальнейшего поддержания работы придётся тратить на ускорители ещё по $16 млрд ежегодно.

Фото: Maxence Pira / Unsplash

В случае выпуска собственных чипов OpenAI пополнит небольшую группу крупных IT-игроков вроде Google и Amazon, которые стремятся взять под свой контроль разработку «кремния», лежащего в основе их бизнеса. OpenAI пока не решила, готова ли она тратить сотни миллионов долларов в год на создание чипа без каких либо гарантий на успех. Например, Meta✴ при разработке ASIC столкнулась с проблемами, из-за которых пришлось отказаться от дальнейшей работы над некоторыми ИИ-чипами, а выход первого ИИ-ускорителя MTIA задержался на два года. Из-за этого, в частности, Meta✴ была вынуждена приостановить строительство ряда своих дата-центров, чтобы адаптировать их для размещения ускорителей NVIDIA.

По данным The Information, Microsoft тоже разрабатывает собственный ИИ-чип, а OpenAI тестирует его. Впервые об ИИ-ускорителях Athena, которые компания якобы разрабатывала с 2019 года, стало известно в апреле этого года. Они должны помочь Microsoft снизить зависимость от продукции NVIDIA, дефицит которых компания признала угрозой бизнесу. Ранее Microsoft, по слухам, подписала соглашения с CoreWeave и Lambda Labs, а также обсуждала с Oracle совместное использования ускорителей NVIDIA. Причина кроется в политике NVIDIA, которая, как считается, гораздо охотнее продаёт «железо» малым провайдерам, которые не пытаются создавать собственные ИИ-чипы, т.е. не опасны для бизнеса «зелёных».

Стартап Lemurian Labs, специализирующийся, как он сам говорит, на решении вычислительных проблем, связанных с использованием ИИ, по сообщению HPCwire, провёл начальный раунд финансирования, в ходе которого привлечено $9 млн. Средства предоставили Oval Park Capital, Good Growth Capital, Raptor Group, Alumni Ventures и др. В команду Lemurian Labs входят бывшие специалисты Google, Microsoft, NVIDIA, AMD и Intel. Компания ставит перед собой задачу создать принципиально новый подход к обработке алгоритмов ИИ с целью снижения энергопотребления и затрат.

Источник изображений: Lemurian Labs

Стартап отмечает, что платформы ИИ развиваются с беспрецедентной скоростью. Это приводит к стремительному увеличению масштаба моделей, что порождает необходимость в огромных вычислительных ресурсах. В результате, аппаратные платформы потребляют непомерное количество энергии, что делает разработку ИИ чрезвычайно дорогостоящей и экологически неустойчивой. Например, развёртывание GPT3 в масштабах поисковика Google потребует 400 МВт и более $100 млрд. Кроме того, создаётся дефицит ускорителей. Впрочем, компания и сама намерена создать программно-аппаратный комплекс.

Lemurian Labs предлагает решить проблему путём создания специализированной платформы, использующей новый формат данных PAL8 (Parallel Adaptive Logarithm, или параллельный адаптивный логарифм). Она, по словам создателей, позволит ускорить рабочие нагрузки ИИ, увеличив пропускную способность по сравнению с GPU-решениями почти в 20 раз при ⅒ от общей стоимости. Вкупе с сопутствующим ПО станет возможным значительное увеличение производительности без роста потребляемой мощности, что позволит с высокой эффективностью разрабатывать ресурсоёмкие ИИ-приложения.

Компания создаёт специализированный компилятор, который динамически распределяет задачи для максимального использования ресурсов оборудования. Это делает написание кода для кластера из 1 тыс. узлов таким же простым, как и для одного. Вместе с тем новый тип данных не только даёт лучшее представление чисел по сравнению с FP-форматами, но и обеспечивает десятикратное увеличение эффективности, позволяя обойти существующие ограничения, связанные с параллельными вычислениями. Плюс к этому задействована многоуровневая архитектура памяти, оптимизирующая потоки данных с целью увеличения пропускной способности и эффективности без ущерба для универсальности.

Как заявил недавно на конференции Code Conference технический директор Microsoft Кевин Скотт (Kevin Scott), приобрести ускорители компании NVIDIA для ИИ и HPC-вычислений уже не так сложно, как ещё несколько месяцев назад. По данным портала Tom’s Hardware, проблема доступности и поставок активно решается производителем.

По словам того же Скотта, ещё не так давно спрос намного превышал предложение всех производителей ускорителей. Хотя дефицит ещё не исчез, ситуация улучшается буквально с каждой неделей. В последнее время драйвером огромного спроса на ускорители были техногиганты, включая Microsoft, активно осваивающие рынок ИИ-продуктов, в том числе для сторонних клиентов. Для тренировки больших языковых моделей (LLM), обычно используются ускорители именно NVIDIA, в результате чего спрос на них в 2023 году стремительно взлетел, а рост стоимости акций «зелёных» с начала года составил 190 %.

Источник изображения: NVIDIA

В ходе недавнего отчёта о доходах NVIDIA сообщила о намерении повысить объёмы поставок в следующем году. Параллельно появилась информация о том, что трафик одного из самых популярных чат-ботов, ChatGPT от OpenAI, существенно падал в течение трёх месяцев подряд. OpenAI использует облачную платформу Microsoft Azure, так что нагрузка на неё в последнее время не столь велика. По словам Скотта, занимающегося в числе прочего и распределением ресурсов, эта задача в последние кварталы была чрезвычайно трудной, но теперь выполнять свои обязанности стало намного легче.

Скотт не стал комментировать слухи о том, что Microsoft якобы разрабатывает собственные ИИ-чипы, но подтвердил, что компания прилагает немалые усилия в работе над полупроводниковыми проектами и инвестировала в них немало средств. При этом он признал, что в последние годы NVIDIA остаётся ведущим партнёром Microsoft в ИИ-секторе, но подчеркнул, что компания будет выбирать наилучшие решения для своих систем, какое бы происхождение они ни имели.