Усилия Китая, направленные на достижение технологического суверенитета в сфере полупроводников, не всегда полностью успешны. Как сообщает Financial Times, клиенты часто жалуются на различные проблемы с ИИ-ускорителями Huawei, которая сама считает их достойной альтернативой продуктам NVIDIA в условиях антикитайских санкций со стороны США и их союзников.

Huawei лидирует на китайском рынке ИИ-чипов. Ускорители Ascend активно используются местными компаниями и государственными структурами как минимум для инференса. Однако некоторые китайские эксперты утверждают, что китайская продукция всё ещё сильно отстаёт от решений NVIDIA. В частности, работа чипов нестабильна, они используют довольно медленный межчиповый интерконнект и сопровождаются некачественным базовым ПО CANN, а использовать Ascend для обучения моделей по-прежнему затруднительно.

Программная платформа CUDA считается одним из ключевых факторов успеха NVIDIA. Huawei пытается создать альтернативу CUDA. Правда, пока на CANN жалуются даже некоторые сотрудники Huawei, в частности, на плохую документацию, что затрудняет поиск ошибок и проблем. Кроме того, некоторые пользователи сообщают о слишком частом выходе чипов из строя. Вместе с тем Huawei гораздо более тесно сотрудничает с клиентами, чем NVIDIA. Китайская компания готова на месте помогать клиентам с переносом решений с платформы CUDA на CANN, а команды специалистов Huawei уже прописались в Baidu, iFlytek и Tencent.

Источник изображения: Huawei

По имеющимся данным, из 207 тыс. сотрудников китайской компании, более половины работают в сфере R&D, куда относятся и специалисты, направляемые для отладки технологий на территории клиентов. Другими словами, в отличие от NVIDIA у Huawei большая команда специалистов поддержки, готовых оперативно устранять возникающие у клиентов проблемы. Кроме того, у Huawei есть специальный портал для отзывов разработчиков, связанных с улучшением программной экосистемы.

По данным источников издания, после того как США ужесточили санкции, Huawei подняла стоимость чипов Ascend 910B на 20–30 %. Кроме того, клиенты обеспокоены ограниченными объёмами поставок — имеющиеся в Китае мощности не могут работать в полную силу из-за санкций, мешающих покупать оборудование для выпуска чипов, например, у ASML.

В то же время дела у Huawei идут хорошо — в компании отмечают сильный спрос на ИИ-чипы, а в I выручка выросла на 34 %. Правда, статистику представили без разбивки по направлениям бизнеса. Летом на конференции World Artificial Intelligence Conference представители Huawei объявили, что на чипах Ascend обучено и протестировано более 50 ИИ-моделей. Например, iFlytek заявила, что её модель обучена исключительно на ускорителях Huawei, хотя и не без помощи последней.

Вместе с тем ещё в прошлом году китайские компании стали массово скупать урезанные версии ускорителей NVIDIA (A800 и H800), предназначенные для рынка КНР, в ожидании очередной волны санкций со стороны США. А Tencent даже похвасталась, что смогла накопить достаточно ускорителей для дальнейшего развития ИИ-проектов. При этом для NVIDIA рынок Китая по-прежнему крайне важен, поэтому она готова выпускать всё новые и новые варианты ускорителей специально для него.

Илон Маск (Elon Musk) объявил о том, что курируемый им стартап xAI запустил кластер Colossus, предназначенный для обучения ИИ. На сегодняшний день в состав этого вычислительного комплекса входят 100 тыс. ускорителей NVIDIA H100, а в дальнейшем его мощности будут расширяться.

Напомним, xAI реализует проект по созданию «гигафабрики» для задач ИИ. Предполагается, что этот суперкомпьютер в конечном итоге будет насчитывать до 300 тыс. новейших ускорителей NVIDIA B200. Оборудование для платформы поставляют компании Dell и Supermicro, а огромный дата-центр xAI расположен в окрестностях Мемфиса (штат Теннесси).

«В эти выходные команда xAI запустила кластер Colossus для обучения ИИ со 100 тыс. карт H100. От начала до конца всё было сделано за 122 дня. Colossus — самая мощная система обучения ИИ в мире», — написал Маск в социальной сети Х.

Источник изображения: WebProNews

По его словам, в ближайшие месяцы вычислительная мощность платформы удвоится. В частности, будут добавлены 50 тыс. изделий NVIDIA H200. Маск подчёркивает, что Colossus — это не просто еще один кластер ИИ, это прыжок в будущее. Основное внимание в рамках проекта будет уделяться использованию мощностей Colossus для расширения границ ИИ: планируется разработка новых моделей и улучшение уже существующих. Ожидается, что по мере масштабирования и развития система станет важным ресурсом для широкого сообщества ИИ, предлагая беспрецедентные возможности для исследований и инноваций.

Запуск столь производительного кластера всего за 122 дня — это значимое достижение для всей ИИ-отрасли. «Удивительно, как быстро это было сделано, и для Dell Technologies большая честь быть частью этой важной системы обучения ИИ», — сказал Майкл Делл (Michael Dell), генеральный директор Dell Technologies.

Согласно исследованию «ТМТ Консалтинг», в 2023 году объём российского рынка систем виртуализации, включая серверную виртуализацию и VDI on-premise, составил порядка 8,32 млрд руб., превысив показатель предыдущего года на 16 %. В этом году ожидаются такие же темпы роста, так что рынок может вырасти 9,64 млрд руб. Примерно 75 % рынка составляет более зрелый рынок серверной виртуализации, в то время как сегмент VDI пока находится на этапе формирования.

В 2023 году на рынке виртуализации наибольшей популярностью пользовались решения компаний «Базис» (36 %), OrionSoft (14 %), ITGLOBAL (13 %), «Группа Астра» (12 %). Как ожидают в «ТМТ Консалтинг», в ближайшие три года нарастание тренда на консолидацию на рынке может привести к тому, что останется 4–6 заметных игроков с наиболее зрелым предложением, которые могут совокупно занять более 75 % рынка. Сейчас, по словам экспертов, есть порядка 35 российских платформ виртуализации, часть из них разрабатывается для внутренних нужд.

Источник изображений: «ТМТ Консалтинг»

Ключевым фактором развития рынка в «ТМТ Консалтинг» назвали импортозамещение. В 2022 году рынок просел из-за ухода западных компаний и — VMware, Microsoft и Citrix совокупно занимали более 75 % рынка. С их уходом и ужесточением требований регуляторов, в частности, отзыва лицензий ФСТЭК, вырос спрос на отечественные системы виртуализации. Также на ускорение импортозамещения повлиял указ о переводе критической информационной инфраструктуры (КИИ) на отечественное ПО до 1 января 2025 года.

По данным Strategy Partners, передают «Ведомости», объём российского рынка систем виртуализации в 2022 г. составлял 7,3 млрд руб., причём его большая часть приходилась на зарубежные решения. По словам экспертов, оценить реальный уровень проникновения российских продуктов, поскольку даже при закупке отечественных систем виртуализации многие продолжают использовать зарубежные продукты.

В числе основных трендов на российском рынке виртуализации в «ТМТ Консалтинг» назвали усиление требований заказчиков к российским решениям, в частности к их функциональности, развитие инициатив по наращиванию компетенций, усилению внутренних команд российских вендоров, развитие технологических партнёрств между поставщиками с целью обеспечения совместимости продуктов, а также развитие направления обучения с целью повышения компетенций по работе со своими продуктами как партнёров, так и других игроков рынка.

В «ТМТ Консалтинг» ожидают в этом году наращивание процесса миграции на отечественные системы виртуализации, с массовым переходом на них в 2025–2027 гг. По оценкам аналитиков, темпы роста сегмента серверной виртуализации в РФ (CAGR) за 2023–2027 гг. составят 14 %, сегмента VDI — 17 %. Объём рынка виртуализации приблизится в 2027 году к 11 млрд руб. и 4 млрд руб. соответственно.

НКО Campaign group the Southern Environmental Law Center (SELC) призывает власти расследовать деятельность компании xAI Илона Маска (Elon Musk). По данным Datacenter Dynamics, активисты обвиняют ИИ-стартап в том, что используемые на территории его дата-центра генераторы усугубляют ситуацию с загрязнением воздуха в регионе.

Представители SELC обратились в департамент здравоохранения округа Шелби (Shelby) штата Теннесси США, утверждая, что на площадке xAI в южной части Мемфиса применяется 18 генераторов, на использование которых необходимо получить разрешение властей.

ЦОД xAI расположен на месте бывшего завода Electrolux площадью 69 677 м², который закрылся в 2022 году. Илон Маск ранее заявлял, что со временем дата-центр будет использовать до 100 тыс. ускорителей NVIDIA H100 (часть которых забрали у Tesla) для обучения и обеспечения работы языковой модели Grok. Второй кластер из 300 тыс. ускорителей B200 планируется ввести в эксплуатацию в следующем году.

Источник изображения: Gabriel Tovar/unspalsh.com

Для этого потребуется много энергии. В xAI пообещали вложить $24 млн в строительство подстанции, которая обеспечит ЦОД до 150 МВт (если одобрит оператор энергосети штата), но пока центр имеет доступ только к 7 МВт. Для решения проблемы подготовлены 14 генераторов Voltagrid на природном газе, каждый из которых способен обеспечить до 2,5 МВт. В письме SELC говорится, что компания Solar Turbines также установила на территории четыре турбины SMT-130 мощностью по 16 МВт.

Предполагается, что это только усугубит проблему низкого качества воздуха в округе Шелби. Уровень приземного озона в регионе уже превышал допустимые нормы в последние три года, и вероятно, то же самое произойдёт и в 2024 году. Загрязнение озоном обостряет заболевания лёгких, такие как эмфизема и хронический бронхит, и увеличивает частоту приступов астмы. Между тем, генераторы xAI, предположительно, выбрасывают около 130 тонн прекурсоров O₃ — оксидов азота (NO_x) — ежегодно, что делает их девятым по масштабу источником таких оксидов в округе.

Источник изображения: Voltagrid

SELC, выступающая от имени нескольких жилых сообществ Мемфиса, добавила, что минимальным требованием является получение разрешений для четырёх 16-МВт турбин до их установки и ввода в эксплуатацию — даже если они временные. Также необходимо потребовать получение разрешений на малые генераторы. Департамент здравоохранения округа призвали отреагировать на эксплуатацию генераторов без разрешений и принять предусмотренные законом меры за их использование без соответствующих разрешений.

SELC уже не первый год борется со строительством дата-центра xAI. В июле группа предупредила о «вредоносных последствиях» для местных жителей из-за роста нагрузки на энергосети Мемфиса. Утверждается, что объект требует «непостижимые» 150 МВт уже к концу 2024 года — столько энергии достаточно для питания 100 тыс. домохозяйств. Это может сказаться на здоровье и даже жизнях местных жителей, поскольку во время пиковых нагрузок люди могут остаться без отопления или кондиционеров. Компания Маска также вызвала недовольство местных властей, которые заявили, что узнали о планах строительства дата-центра из средств массовой информации.

Южнокорейский стартап FuriosaAI на мероприятии анонсировал специализированный чип RNGD (произносится как «Renegade»), который позиционируется в качестве альтернативы ускорителям NVIDIA. Новинка предназначена для работы с большими языковыми моделями (LLM) и мультимодальным ИИ.

FuriosaAI основана в 2017 году тремя инженерами, ранее работавшими в AMD, Qualcomm и Samsung. Своё первое решение компания выпустила в 2021 году: чип Warboy представляет собой высокопроизводительный ЦОД-ускоритель, специально разработанный для рабочих нагрузок компьютерного зрения. Новое изделие RNGD, как утверждает FuriosaAI, является результатом многолетних инноваций.

Чип изготавливается по 5-нм техпроцессу TSMC. ИИ-ускоритель на базе RNGD выполнен в виде карты расширения PCIe 5.0 x16. Он наделён 48 Гбайт памяти HBM3 с пропускной способностью до 1,5 Тбайт/с и 256 Мбайт памяти SRAM (384 Тбайт/с). Показатель TDP находится на уровне 150 Вт, что позволяет использовать устройство в системах с воздушным охлаждением. Для сравнения: у некоторых ускорителей на базе GPU величина TDP достигает 1000 Вт и более.

Источник изображения: FuriosaAI

Утверждается, что RNGD обеспечивает производительность до 512 Тфлопс в режиме FP8 и до 256 Тфлопс в режиме BF16. Быстродействие INT8/INT4 достигает 512/1024 TOPS. Карта позволяет эффективно запускать открытые LLM, такие как Llama 3.1 8B. Говорится, что один PCIe-ускоритель RNGD обеспечивает пропускную способность от 2000 до 3000 токенов в секунду (в зависимости от длины контекста) для моделей с примерно 10 млрд параметров. В системе можно объединить до восьми карт для работы с моделями, насчитывающими около 100 млрд параметров.

RNGD основан на архитектуре свёртки тензора (Tensor Contraction Processor, TCP), которая, как отмечается, обеспечивает оптимальный баланс между эффективностью, программируемостью и производительностью. Программный стек состоит из компрессора моделей, сервисного фреймворка, среды выполнения, компилятора, профилировщика, отладчика и набора API для простоты программирования и развёртывания. Говорится, что чипы RNGD можно настроить для выполнения практически любой рабочей нагрузки LLM или мультимодального ИИ.

Компания MSI анонсировала материнскую плату MS-CF10, предназначенную для создания систем промышленной автоматизации, платформ видеонаблюдения, медицинского оборудования, edge-устройств и пр. Новинка выполнена в формате Mini-ITX с размерами 170 × 170 мм.

В зависимости от модификации применяется набор логики Intel R680E, Q670E или H610E. Во всех случаях возможна установка процессора Intel Raptor Lake-S Refresh в исполнении LGA 1700 с показателем TDP до 65 Вт. Имеются два слота SO-DIMM для модулей DDR5-5200 суммарным объёмом до 64 Гбайт.

Плата располагает одним слотом PCIe 5.0 x16, коннектором M.2 M-key (PCIe x4; NVMe, SATA-3.0) для SSD формата 2242/2280, разъёмом M.2 E-key (PCIe x1; USB 2.0; CNVi) для адаптера Wi-Fi/Bluetooth (формат 2230) и коннектором М.2 B-key (PCIe x1; USB 3.2 Gen2; USB 2.0) для сотового модема (формат 3042 + слот для SIM-карты). Предусмотрены также два порта SATA 3.0 для накопителей с возможностью формирования массивов RAID 0/1/5 (только у версий на чипсетах Intel R680E и Q670E).

Источник изображения: MSI

Все модификации платы оснащены тремя сетевыми портами 2.5GbE (контроллер Intel I226-LM и/или Intel I226-V), звуковым кодеком Realtek ALC897, контроллером ввода/вывода Fintek F81966D-I, чипом TPM 2.0. Возможен вывод изображения одновременно на четыре дисплея: LVDS с разрешением 1920 × 1200 точек @ 60 Гц, а также eDP, HDMI 2.0 и DP с разрешением 4096 × 2304 пикселя @ 60 Гц (во всех трёх случаях).

Интерфейсный блок содержит шесть портов USB 3.2 Gen2, три гнезда RJ-45 для сетевых кабелей, аудиогнёзда на 3,5 мм, разъёмы HDMI и DP. Через коннекторы на плате можно задействовать четыре последовательных порта, два порта USB 3.2 Gen1 и три порта USB 2.0. Диапазон рабочих температур — от 0 до +60 °C. Заявлена совместимость с Windows 10 IoT Enterprise 2021 LTSC, Windows 11 IoT Enterprise LTSC и Linux.

Японская Mitsubishi Electric Corp. пытается справиться с нарастающим в мире спросом на оптические компоненты, используемые в ИИ ЦОД, передаёт Bloomberg. Компания контролирует почти половину мирового рынка устройств оптической передачи данных для ЦОД, выпуская высокоэффективные лазерные диоды, модуляторы и сборки, которые используются в трансиверах. При этом в выручке самой компании данное направление занимает очень небольшую долю.

В Bloomberg сообщают, что, например, в США, без преувеличения все гиперскейлеры так или иначе являются клиентами Mitsubishi Electric. По словам представителя компании, уже в следующем месяце Mitsubishi Electric сможет нарастить выпуск оптических компонентов на 50 % в сравнении с прошлым годом, но этого всё равно будет недостаточно, чтобы удовлетворить все получаемые запросы. Понадобится вдвое нарастить производство в сравнении с тем, на что оно будет способно в сентябре.

Высказывания официального представителя компании стали последним из признаков дефицита компонентов для ИИ-инфраструктур. По оценкам Mitsubishi Electric, спрос со стороны пятёрки первых ведущих провайдеров США «очень силён» и продолжает расти. Буквально на днях компания пообещала начать поставки образцов решения для сетей 800 Гбит/с и 1,6 Тбит/с.

Источник изображения: Mitsubishi Electric

На оптические компоненты приходится лишь малая часть бизнеса Mitsubishi Electric, выпускающей самую разную продукцию, от промышленных роботов до спутникового оборудования. Подразделение, занимающееся соответствующими полупроводниками и устройствами, принесло в прошлом финансовом году 4 % от выручки компании. В июне эксперты уже предупреждали о росте спроса на оптическое оборудование для дата-центров.

Представлена новая версия одноплатного компьютера Raspberry Pi 5: она получила 2 Гбайт оперативной памяти, а также несколько модифицированный по сравнению с оригинальной версией процессор Broadcom. Решение уже доступно для заказа по цене $50.

Изделие Raspberry Pi 5 дебютировало в сентябре 2023 года. Оно оснащено 16-нм чипом Broadcom BCM2712C1 с четырьмя ядрами Arm Cortex-A76 с частотой 2,4 ГГц. Есть графический ускоритель VideoCore VII с поддержкой OpenGL ES 3.1 и Vulkan 1.2. Изначально предлагались варианты одноплатного компьютера с 4 и 8 Гбайт ОЗУ за $60 и $80.

Источник изображения: Raspberry Pi

Отмечается, что BCM2712C1 — это довольно сложный процессор, который, помимо функций необходимых для работы Raspberry Pi, также поддерживает дополнительные возможности, ориентированные на другие области применения. Но в случае с Raspberry Pi 5 эти возможности лишь увеличивают цену чипа. Поэтому в новой версии одноплатного компьютера процессор BCM2712C1 переведён на степпинг D0, который лишён всей ненужной функциональности. Это позволило снизить стоимость производства.

В Raspberry Pi 5 с 2 Гбайт памяти, как и в оригинальной модификации решения, задействован контроллер ввода-вывода собственной разработки RP1. Прочие технические характеристики также не изменились: контроллеры Wi-Fi 802.11ac (2,4/5 ГГц) и Bluetooth 5.0 / Bluetooth Low Energy (BLE), слот microSD, по два порта USB 3.0 и USB 2.0, адаптер 1GbE с поддержкой PoE+ и др.

В ассортименте Banana Pi появился компактный одноплатный компьютер BPI-WiFi6 Mini, предназначенный для построения маршрутизаторов. Новинка представляет собой уменьшенную версию изделия BPI-WiFi 6, которое дебютировало в июне 2023 года и легло в основу роутера Banana Pi BPI-WiFi 6.

Как и старший собрат, изделие BPI-WiFi6 Mini несёт на борту процессор Triductor TR6560 с двумя ядрами Arm Cortex-A9 с частотой 1,2 ГГц и чип Triductor TR5220, на базе которого реализована поддержка Wi-Fi 6 (IEEE802.11a/b/g/n/ac/ax) в частотных диапазонах 2,4 и 5 ГГц (2×2 MIMO).

Новинка располагает 128 Мбайт памяти DDR3 и таким же объёмом памяти SPI NAND, портом USB 3.0 Type-C для подачи питания и разъёмом USB 3.0 Type-A. Доступны по одному порту 1GbE LAN и 1GbE WAN с коннекторами RJ-45. Габариты составляют 65 × 65 мм.

Источник изображения: Banana Pi

В отличие от оригинальной версии, мини-плата наделена разъёмом M.2 B-Key и слотом для карты nano-SIM. Это позволяет устанавливать сотовый модем 4G/5G NR, например, Quectecl RM500U 5G (продаётся отдельно). Имеются коннекторы для антенн Wi-Fi и 5G.

Одноплатный компьютер Banana Pi BPI-WiFi6 Mini доступен для заказа по ориентировочной цене $30. Отмечается, что изделие выполнено в том же формате, что и модель Banana Pi BPI-R3 Mini, а поэтому совместимо с соответствующими корпусами.

Компания Ola-Krutrim, дочернее предприятие одного из крупнейших в Индии производителей электрических двухколёсных транспортных средств Ola Electric, по сообщению Tom's Hardware, объявила о разработке первых в стране специализированных чипов для задач ИИ. Анонсированы изделия Bodhi 1, Ojas и Sarv 1. Впоследствии выйдет решение Bodhi 2. Но, судя по всему, речь всё же идёт о совместной работе с Untether AI.

Чип Bodhi 1 предназначен для инференса, благодаря чему может использоваться при обработке больших языковых моделей (LLM) и визуальных приложений. По заявлениям Ola Electric, Bodhi 1 обеспечивает «лучшую в своём классе энергоэффективность», что является критически важным параметром для ресурсоёмких ИИ-систем.

Чип Sarv 1, в свою очередь, ориентирован на облачные платформы и дата-центры, обрабатывающие ИИ-нагрузки. Процессор Sarv 1 базируется на наборе инструкций Arm. Изделие Ojas предназначено для работы на периферии и может быть оптимизировано под специфичные задачи — автомобильные приложения, Интернет вещей, мобильные сервисы и пр. В частности, сама Ola Electric намерена применять Ojas в своих электрических скутерах следующего поколения для повышения эффективности зарядки, улучшения функциональности систем помощи водителю (ADAS) и пр.

Источник изображения: Tom's Hardware

В рамках презентации Ola Electric продемонстрировала, что её ИИ-решения обеспечивают более высокие производительность и энергоэффективность, нежели ускорители NVIDIA. При этом индийская компания не уточнила, с какими именно ускорителями производилось сравнение. Ожидается, что процессоры Bodhi 1, Ojas и Sarv 1 выйдут на массовый рынок в 2026 году, тогда как Bodhi 2 появится в 2028-м. О том, где планируется изготавливать изделия, пока ничего не сообщается.

Одновременно с анонсом индийских чипов производитель ИИ-ускорителей Untether AI объявил о сотрудничестве с Ola-Krutrim, в рамках которого была продемонстрирована производительность текущих решений speedAI и было объявлено о совместной разработке будущих ИИ-ускорителей для ЦОД, которые будут использованы для тюнинга и инференса ИИ-моделей Krutrim. В Индии активно развивается как ИИ-индустрия (в том числе на государственном уровне), так и рынок ЦОД. Попутно страна пытается добиться технологической независимости как от азиатских, так и от западных IT-гигантов.