Южнокорейский стартап FuriosaAI на мероприятии анонсировал специализированный чип RNGD (произносится как «Renegade»), который позиционируется в качестве альтернативы ускорителям NVIDIA. Новинка предназначена для работы с большими языковыми моделями (LLM) и мультимодальным ИИ.

FuriosaAI основана в 2017 году тремя инженерами, ранее работавшими в AMD, Qualcomm и Samsung. Своё первое решение компания выпустила в 2021 году: чип Warboy представляет собой высокопроизводительный ЦОД-ускоритель, специально разработанный для рабочих нагрузок компьютерного зрения. Новое изделие RNGD, как утверждает FuriosaAI, является результатом многолетних инноваций.

Чип изготавливается по 5-нм техпроцессу TSMC. ИИ-ускоритель на базе RNGD выполнен в виде карты расширения PCIe 5.0 x16. Он наделён 48 Гбайт памяти HBM3 с пропускной способностью до 1,5 Тбайт/с и 256 Мбайт памяти SRAM (384 Тбайт/с). Показатель TDP находится на уровне 150 Вт, что позволяет использовать устройство в системах с воздушным охлаждением. Для сравнения: у некоторых ускорителей на базе GPU величина TDP достигает 1000 Вт и более.

Источник изображения: FuriosaAI

Утверждается, что RNGD обеспечивает производительность до 512 Тфлопс в режиме FP8 и до 256 Тфлопс в режиме BF16. Быстродействие INT8/INT4 достигает 512/1024 TOPS. Карта позволяет эффективно запускать открытые LLM, такие как Llama 3.1 8B. Говорится, что один PCIe-ускоритель RNGD обеспечивает пропускную способность от 2000 до 3000 токенов в секунду (в зависимости от длины контекста) для моделей с примерно 10 млрд параметров. В системе можно объединить до восьми карт для работы с моделями, насчитывающими около 100 млрд параметров.

RNGD основан на архитектуре свёртки тензора (Tensor Contraction Processor, TCP), которая, как отмечается, обеспечивает оптимальный баланс между эффективностью, программируемостью и производительностью. Программный стек состоит из компрессора моделей, сервисного фреймворка, среды выполнения, компилятора, профилировщика, отладчика и набора API для простоты программирования и развёртывания. Говорится, что чипы RNGD можно настроить для выполнения практически любой рабочей нагрузки LLM или мультимодального ИИ.

Компания MSI анонсировала материнскую плату MS-CF10, предназначенную для создания систем промышленной автоматизации, платформ видеонаблюдения, медицинского оборудования, edge-устройств и пр. Новинка выполнена в формате Mini-ITX с размерами 170 × 170 мм.

В зависимости от модификации применяется набор логики Intel R680E, Q670E или H610E. Во всех случаях возможна установка процессора Intel Raptor Lake-S Refresh в исполнении LGA 1700 с показателем TDP до 65 Вт. Имеются два слота SO-DIMM для модулей DDR5-5200 суммарным объёмом до 64 Гбайт.

Плата располагает одним слотом PCIe 5.0 x16, коннектором M.2 M-key (PCIe x4; NVMe, SATA-3.0) для SSD формата 2242/2280, разъёмом M.2 E-key (PCIe x1; USB 2.0; CNVi) для адаптера Wi-Fi/Bluetooth (формат 2230) и коннектором М.2 B-key (PCIe x1; USB 3.2 Gen2; USB 2.0) для сотового модема (формат 3042 + слот для SIM-карты). Предусмотрены также два порта SATA 3.0 для накопителей с возможностью формирования массивов RAID 0/1/5 (только у версий на чипсетах Intel R680E и Q670E).

Источник изображения: MSI

Все модификации платы оснащены тремя сетевыми портами 2.5GbE (контроллер Intel I226-LM и/или Intel I226-V), звуковым кодеком Realtek ALC897, контроллером ввода/вывода Fintek F81966D-I, чипом TPM 2.0. Возможен вывод изображения одновременно на четыре дисплея: LVDS с разрешением 1920 × 1200 точек @ 60 Гц, а также eDP, HDMI 2.0 и DP с разрешением 4096 × 2304 пикселя @ 60 Гц (во всех трёх случаях).

Интерфейсный блок содержит шесть портов USB 3.2 Gen2, три гнезда RJ-45 для сетевых кабелей, аудиогнёзда на 3,5 мм, разъёмы HDMI и DP. Через коннекторы на плате можно задействовать четыре последовательных порта, два порта USB 3.2 Gen1 и три порта USB 2.0. Диапазон рабочих температур — от 0 до +60 °C. Заявлена совместимость с Windows 10 IoT Enterprise 2021 LTSC, Windows 11 IoT Enterprise LTSC и Linux.

Японская Mitsubishi Electric Corp. пытается справиться с нарастающим в мире спросом на оптические компоненты, используемые в ИИ ЦОД, передаёт Bloomberg. Компания контролирует почти половину мирового рынка устройств оптической передачи данных для ЦОД, выпуская высокоэффективные лазерные диоды, модуляторы и сборки, которые используются в трансиверах. При этом в выручке самой компании данное направление занимает очень небольшую долю.

В Bloomberg сообщают, что, например, в США, без преувеличения все гиперскейлеры так или иначе являются клиентами Mitsubishi Electric. По словам представителя компании, уже в следующем месяце Mitsubishi Electric сможет нарастить выпуск оптических компонентов на 50 % в сравнении с прошлым годом, но этого всё равно будет недостаточно, чтобы удовлетворить все получаемые запросы. Понадобится вдвое нарастить производство в сравнении с тем, на что оно будет способно в сентябре.

Высказывания официального представителя компании стали последним из признаков дефицита компонентов для ИИ-инфраструктур. По оценкам Mitsubishi Electric, спрос со стороны пятёрки первых ведущих провайдеров США «очень силён» и продолжает расти. Буквально на днях компания пообещала начать поставки образцов решения для сетей 800 Гбит/с и 1,6 Тбит/с.

Источник изображения: Mitsubishi Electric

На оптические компоненты приходится лишь малая часть бизнеса Mitsubishi Electric, выпускающей самую разную продукцию, от промышленных роботов до спутникового оборудования. Подразделение, занимающееся соответствующими полупроводниками и устройствами, принесло в прошлом финансовом году 4 % от выручки компании. В июне эксперты уже предупреждали о росте спроса на оптическое оборудование для дата-центров.

Представлена новая версия одноплатного компьютера Raspberry Pi 5: она получила 2 Гбайт оперативной памяти, а также несколько модифицированный по сравнению с оригинальной версией процессор Broadcom. Решение уже доступно для заказа по цене $50.

Изделие Raspberry Pi 5 дебютировало в сентябре 2023 года. Оно оснащено 16-нм чипом Broadcom BCM2712C1 с четырьмя ядрами Arm Cortex-A76 с частотой 2,4 ГГц. Есть графический ускоритель VideoCore VII с поддержкой OpenGL ES 3.1 и Vulkan 1.2. Изначально предлагались варианты одноплатного компьютера с 4 и 8 Гбайт ОЗУ за $60 и $80.

Источник изображения: Raspberry Pi

Отмечается, что BCM2712C1 — это довольно сложный процессор, который, помимо функций необходимых для работы Raspberry Pi, также поддерживает дополнительные возможности, ориентированные на другие области применения. Но в случае с Raspberry Pi 5 эти возможности лишь увеличивают цену чипа. Поэтому в новой версии одноплатного компьютера процессор BCM2712C1 переведён на степпинг D0, который лишён всей ненужной функциональности. Это позволило снизить стоимость производства.

В Raspberry Pi 5 с 2 Гбайт памяти, как и в оригинальной модификации решения, задействован контроллер ввода-вывода собственной разработки RP1. Прочие технические характеристики также не изменились: контроллеры Wi-Fi 802.11ac (2,4/5 ГГц) и Bluetooth 5.0 / Bluetooth Low Energy (BLE), слот microSD, по два порта USB 3.0 и USB 2.0, адаптер 1GbE с поддержкой PoE+ и др.

В ассортименте Banana Pi появился компактный одноплатный компьютер BPI-WiFi6 Mini, предназначенный для построения маршрутизаторов. Новинка представляет собой уменьшенную версию изделия BPI-WiFi 6, которое дебютировало в июне 2023 года и легло в основу роутера Banana Pi BPI-WiFi 6.

Как и старший собрат, изделие BPI-WiFi6 Mini несёт на борту процессор Triductor TR6560 с двумя ядрами Arm Cortex-A9 с частотой 1,2 ГГц и чип Triductor TR5220, на базе которого реализована поддержка Wi-Fi 6 (IEEE802.11a/b/g/n/ac/ax) в частотных диапазонах 2,4 и 5 ГГц (2×2 MIMO).

Новинка располагает 128 Мбайт памяти DDR3 и таким же объёмом памяти SPI NAND, портом USB 3.0 Type-C для подачи питания и разъёмом USB 3.0 Type-A. Доступны по одному порту 1GbE LAN и 1GbE WAN с коннекторами RJ-45. Габариты составляют 65 × 65 мм.

Источник изображения: Banana Pi

В отличие от оригинальной версии, мини-плата наделена разъёмом M.2 B-Key и слотом для карты nano-SIM. Это позволяет устанавливать сотовый модем 4G/5G NR, например, Quectecl RM500U 5G (продаётся отдельно). Имеются коннекторы для антенн Wi-Fi и 5G.

Одноплатный компьютер Banana Pi BPI-WiFi6 Mini доступен для заказа по ориентировочной цене $30. Отмечается, что изделие выполнено в том же формате, что и модель Banana Pi BPI-R3 Mini, а поэтому совместимо с соответствующими корпусами.

Компания Ola-Krutrim, дочернее предприятие одного из крупнейших в Индии производителей электрических двухколёсных транспортных средств Ola Electric, по сообщению Tom's Hardware, объявила о разработке первых в стране специализированных чипов для задач ИИ. Анонсированы изделия Bodhi 1, Ojas и Sarv 1. Впоследствии выйдет решение Bodhi 2. Но, судя по всему, речь всё же идёт о совместной работе с Untether AI.

Чип Bodhi 1 предназначен для инференса, благодаря чему может использоваться при обработке больших языковых моделей (LLM) и визуальных приложений. По заявлениям Ola Electric, Bodhi 1 обеспечивает «лучшую в своём классе энергоэффективность», что является критически важным параметром для ресурсоёмких ИИ-систем.

Чип Sarv 1, в свою очередь, ориентирован на облачные платформы и дата-центры, обрабатывающие ИИ-нагрузки. Процессор Sarv 1 базируется на наборе инструкций Arm. Изделие Ojas предназначено для работы на периферии и может быть оптимизировано под специфичные задачи — автомобильные приложения, Интернет вещей, мобильные сервисы и пр. В частности, сама Ola Electric намерена применять Ojas в своих электрических скутерах следующего поколения для повышения эффективности зарядки, улучшения функциональности систем помощи водителю (ADAS) и пр.

Источник изображения: Tom's Hardware

В рамках презентации Ola Electric продемонстрировала, что её ИИ-решения обеспечивают более высокие производительность и энергоэффективность, нежели ускорители NVIDIA. При этом индийская компания не уточнила, с какими именно ускорителями производилось сравнение. Ожидается, что процессоры Bodhi 1, Ojas и Sarv 1 выйдут на массовый рынок в 2026 году, тогда как Bodhi 2 появится в 2028-м. О том, где планируется изготавливать изделия, пока ничего не сообщается.

Одновременно с анонсом индийских чипов производитель ИИ-ускорителей Untether AI объявил о сотрудничестве с Ola-Krutrim, в рамках которого была продемонстрирована производительность текущих решений speedAI и было объявлено о совместной разработке будущих ИИ-ускорителей для ЦОД, которые будут использованы для тюнинга и инференса ИИ-моделей Krutrim. В Индии активно развивается как ИИ-индустрия (в том числе на государственном уровне), так и рынок ЦОД. Попутно страна пытается добиться технологической независимости как от азиатских, так и от западных IT-гигантов.

Облачное подразделение Huawei Technologies рассматривает Азиатско-Тихоокеанский регион (АТР) как потенциально огромный рынок для своих ИИ-решений. Как сообщает SCMP, облачные сервисы компании в регионе за последние четыре года выросли в 20 раз несмотря на американские санкции.

По словам представителя Huawei Cloud Жаклин Ши (Jacqueline Shi), следующим шагом компании в регионе станет предоставление всеобъемлющих ИИ-решений. В их числе облачный сервис Ascend Cloud, платформа для ИИ-разработки ModelArts и разработанная самой Huawei большая языковая модель (LLM) Pangu. Компания уже сотрудничает со службой прогнозов погоды в Таиланде над внедрением Pangu, также работая с другими отраслями, например — финансовой.

Источник изображения: Jovan Vasiljević/unsplash.com

План экспансии в АТР демонстрирует намерения компании диверсифицировать денежные поступления и привлечь больше зарубежных клиентов на фоне роста интереса к генеративным ИИ-решениям во многих отраслях. По словам Ши, регион является для компании одним из крупнейших рынков облачных вычислений, именно здесь Huawei в первую очередь запускала некоторые облачные продукты, вроде DBaaS — до того, как предложить их по всему миру.

В мае 2024 года Huawei запустила первый в Египте публичный облачный сервис в Каире, одновременно запустив LLM для арабского языка. В сентябре прошлого года Huawei запустила ЦОД в столице Саудовской Аравии Эр-Рияде для обеспечения страны и других государств Ближнего Востока, Северной Африки и Центральной Азии публичными облачными сервисами.

По данным Canalys, сегодня компания считается вторым по величине провайдером облачных сервисов в материковом Китае, отставая только от облачного подразделения Alibaba Group. Согласно отчётам Huawei, облачные вычисления стали одним из сильнейших векторов роста компании в 2023 году, выручка год к году выросла на 21,9 % до ¥55,29 млрд ($7,6 млрд).

Облачная ИИ-платформа Ascend строится на разработанных самой компанией процессорах и фреймфорках, это позволяет преодолевать американские санкции, ограничивающие доступ КНР к полупроводникам и технологиям американского происхождения. В материковом Китае чипы семейства Huawei Ascend теперь служат альтернативой ускорителям NVIDIA, поставки которых в Китай ограничены.

Это не единственные инициативы Huawei, связанные с облачными решениями. Недавно компания представила сетевой монитор, способный быстро найти даже отдельный неисправный чип в целом дата-центре, а на днях появилась информация о том, что Huawei готовит к выпуску ИИ-ускоритель Ascend 910C способный конкурировать с NVIDIA H100.

Dell Technologies и Nutanix объединили усилия для повышения простоты, гибкости и масштабируемости гибридных облачных инфраструктур с помощью двух новых решений — Dell XC Plus и Dell PowerFlex with Nutanix Cloud Platform, сообщил ресурс SiliconANGLE. Новинки, как ожидается, помогут предприятиям более эффективно управлять приложениями и рабочими нагрузками в средах Nutanix. Новые программно-аппаратные комплексы будут поставляться Dell.

Dell XC Plus представляет собой готовую гиперконвергентную платформу на базе программного стека Nutanix Cloud Platform и серверов Dell PowerEdge. По словам компаний, Dell XC Plus обеспечивает бесперебойное управление в рамках единой структуры, предлагая клиентам больше выбора и контроля для удовлетворения меняющихся ИТ-требований. Платформа, по словам компаний, предоставляет безопасную, устойчивую и гибкую ИТ-среду, централизованное управление гибридным облаком, автоматизацию, оптимизацию планирования ресурсов и повышение производительности посредством ИИ-алгоритмов.

Источник изображения: Dell

В свою очередь, решение Dell PowerFlex with Nutanix Cloud Platform объединяет программно-определяемую инфраструктуру Dell с гипервизором Nutanix AHV и Cloud Platform. Dell PowerFlex — масштабируемая vSAN и гиперконвергентная система с поддержкой нескольких гипервизоров. PowerFlex станет первым внешним хранилищем, поддерживаемым и интегрированным с Nutanix Cloud Platform. Ключевые атрибуты этой новой интеграции включают защиту корпоративных данных и аварийное восстановление, сетевые функции и защиту.

Nutanix и Dell подписали партнёрское соглашение в мае, пытаясь побудить клиентов Broadcom VMware перейти на совместную платформу Dell-Nutanix. Dell и Nutanix сообщили, что решение Dell PowerFlex with Nutanix Cloud Platform в настоящее время находится в разработке и будет доступно для раннего доступа клиентам в конце этого года, в то время как Dell XC Plus доступно уже сейчас. Примечательно, что в анонсе новых решений имя VMware не упоминается ни разу.

Huawei Technologies вскоре представит новый ИИ-ускоритель Ascend 910C, сопоставимый по производительности с NVIDIA H100, сообщила газета The Wall Street Journal со ссылкой на информированные источники. По их словам, китайские интернет-компании и операторы в последние недели тестировали этот чип и в настоящее время ByteDance (материнская компания TikTok), поисковик Baidu и государственный оператор связи China Mobile ведут переговоры по поводу его поставок.

Судя по озвученным цифрам, заказы могут превысить 70 тыс. шт. на общую сумму около $2 млрд. Huawei намерена начать поставки уже в октябре, сообщили источники, но компания не стала комментировать эти сообщения. Huawei была включена в «чёрный» список Entity List Министерства торговли США в 2019 году, что лишило её возможности производить закупки передовых чипов и оборудования для их выпуска, а также размещать заказы на производство микросхем за пределами Поднебесной.

Однако благодаря многомиллиардной государственной поддержке компания стала национальным лидером во многих областях, включая ИИ, и ключевой частью усилий Пекина по «удалению» американских технологий, отметила WSJ. При этом Китай наращивает поддержку отечественного производства полупроводников и в мае выделил $48 млрд в рамках третьего транша национального инвестиционного фонда для этой отрасли.

Источник изображения: huaweicentral.com

Из-за санкций США китайским клиентам NVIDIA приходится довольствоваться ИИ-ускорителем H20, разработанным специально для Китая с учётом экспортных ограничений Министерства торговли США, в то время как американские клиенты NVIDIA, такие, как OpenAI, Amazon и Google, вскоре получат доступ к гораздо более производительным чипам, включая GB200. NVIDIA также готовит для Китая чип B20, хотя есть опасения, что и он может попасть под новые ограничения США.

По оценкам аналитиков SemiAnalysis, 910C может быть даже лучше, чем B20, и если Huawei сможет наладить выпуск нового чипа, а NVIDIA по-прежнему не сможет продавать китайским клиентам передовые ускорители, то у последней все шансы быстро потерять долю рынка в стране. Согласно подсчётам SemiAnalysis, в 2025 году Huawei может произвести 1,3–1,4 млн ускорителей 910C, если не столкнётся с дополнительными ограничениями США. Аналитики ожидают, что NVIDIA продаст более 1 млн H20 в Китае в этом году на сумму около $12 млрд, т.е. в штучном выражении примерно вдове больше, чем Huawei 910B.

По словам источников, в последние недели Huawei начала накапливать запасы HBM-чипов, используемых в ИИ-ускорителях, в связи с опасениями ввода США новых экспортных ограничений. На прошедшей в июне конференции, посвящённой полупроводниковой промышленности, представитель руководства Huawei сообщил, что почти половина больших языковых моделей (LLM), созданных в Китае, была обучена с помощью ускорителей компании. Он также отметил, что в этих задачах 910B превосходит по производительности NVIDIA A100.

В Huawei Cloud разработали собственный сверхточный инструмент сетевого мониторинга RD-Probe для обслуживания для своих облачных регионов. По данным The Register, он способен выявить проблемы, которые человек заметить не способен.

В докладе Huawei и представители Пекинского университета ссылаются на данные Amazon: лишь внутри одного облачного региона AWS имеется 10⁸⁷ возможных путей передачи данных и 10¹⁷⁶ — между регионами. В ЦОД Huawei Cloud используются более 100 тыс. коммутаторов и миллион серверов. Мониторинг всей этой инфраструктуры является чрезвычайно сложной задачей.

Источник изображения: Shivendu Shukla/unsplash.com

RD-Probe отслеживает состояние всех L2-портов во всей сетевой фабрике. Исследователи отмечают, что традиционно осуществляется именно мониторинг L3, что не даёт полной картины состояния сети. При этом инструмент Huawei воспринимает коммутаторы как «чёрные ящики» и не полагается исключительно на их внутреннюю телеметрию, благодаря чему легко интегрируется с уже существующей архитектурой системы мониторинга.

Инструмент сначала проводит зондирование случайным образом, потом — детерминированным. Подобная двухэтапная схема обеспечивает максимальное покрытие сети при проверках и вместе с тем не нагружает её. Для генерации трафика выделен кластер из 16 узлов, каждый из которых имеет неназванный восьмиядерный процессор с частотой 2,80 ГГц и 64 Гбайт оперативной памяти. Полученные данные в потоковом режиме обрабатывают 48 узлов (16-ядерный CPU и 32 Гбайт RAM).

Источник изображения: Huawei

Через месяц после начала использования RD-Probe в Huawei Cloud было найдено множество незамеченных ранее проблем. Конечно, большинство касалось небольших сбоев и эпизодических потерь пакетов, зато выявили их до того, как могли серьёзно пострадать пользователи. Например, инструмент помог определить сбойный чип в коммутаторе ядра сети, из-за которого периодически отбрасывался входящий трафик, но при этом отчёты об ошибках не генерировались. Также была выявлена ошибка в балансировке нагрузки, сбойное SerDes-подключение и проблема с некоторыми BGP-маршрутами.

Исследователи Huawei выразили удовлетворение тем, что RD-Probe улучшило покрытие мониторингом сети с 80,9 % до 99,5 %. В скором времени решение планируется применить в других облачных регионах Huawei. При этом авторы доклада подчёркивают, что RD-Probe оценивает только внутренний трафик и не может фильтровать сбои на серверной стороне. Отмечается, что ручной мониторинг не даёт таких хороших результатов.