Не секрет, что китайские разработки в области ИИ-ускорителей, DPU и GPU пока существенно уступают новейшим решениям NVIDIA и AMD. Но китайская индустрия не намерена мириться с таким положением вещей, даже несмотря на жёсткие санкционные меры со стороны США.

На мероприятии World AI Conference 2023 был анонсирован совместный проект китайских властей, разработчиков и научно-исследовательских оргинизаций под названием Intelligent Leap Project, целью которого является установление единых стандартов в сфере ИИ и разработка ускорителей нового поколения с учётом этих стандартов.

Об участии в проекте заявили практически все крупные китайские разработчики чипов: Huawei HiSilicon, Enflame, KunLunXin, FeiTeng, Hygon, MetaX, Smart Chip, iluvatar, ShenWei, Biren, Denglin, Fudan Microelectronics, Moore Threads, Riscure, Intellifusion, Corerain, Novauto, TheWake, Axera и KiwiMoore; ряд руководителей присутствовал на церемонии открытия проекта.

Изображения: Biren

Проект должен объединить индустриальные и научно-исследовательские ресурсы КНР для разработки продвинутых технологий ИИ и создания на их основе единой «умной» экосисистемы, пригодной к использованию как в условиях Китая, так и на международном рынке.

Предполагается создание платформы для всестороннего тестирования ИИ-ускорителей в различных сценариях и их оценки «на профпригодность». КНР всерьёз готовится к прорыву в сфере ИИ. Если раньше речь шла об отдельных инициативах, вроде чипа BR100, то сейчас под эгидой Intelligent Leap Project Китай, похоже, намерен дать серьёзный бой западным технологиям.

Совместное предприятие European High Performance Computing (EuroHPC JU) объявило о запуске нового исследовательского проекта Inno4scale с целью разработки инновационных алгоритмов, которые позволят в полной мере использовать потенциал экзафлопсных и постэкзафлопсных HPC-систем.

Консорциум Inno4scale включает Барселонский суперкомпьютерный центр (BSC), SCAPOS, Центр высокопроизводительных вычислений Штутгартского университета (HLRS) и ассоциацию PRACE. Он будет финансировать разработку новых подходов к алгоритмам, выделяя средства на небольшие проекты, которые покажут эффективность для приложений с поддержкой экзафлопсных вычислений. Бюджет проекта Inno4scale составляет €5 млн.

Источник изображения: Inno4scale

Консорциум разработает и организует конкурс для предложений на основе механизма каскадного финансирования, приём которых продлится до конца сентября. Предложения будут оцениваться осенью 2023 года внешними экспертами исходя из инновационности дизайна и влияния на повышение эффективности работы экзафлопсных систем. Разработки, как ожидается, начнутся в 2024 году и продлятся год. Наиболее эффективные алгоритмы будут в дальнейшем использоваться для HPC, что, как ожидается, приведёт к значительному повышению производительности и энергоэффективности.

EuroHPC планирует построить два экзафлопсных суперкомпьютера для Европы. В прошлом году было объявлено, что в Юлихском суперкомпьютерном центре (JSC) недалеко от Аахена (Германия) будет установлен JUPITER (Joint Undertaking Pioneer for Innovative and Transformative Exascale Research). А в июне стало известно, что вторая экзафлопная система будет построена консорциумом Jules Verne во Франции.

Разработчик решений в области генеративного ИИ MosaicML, недавно перешедший в собственность Databricks, сообщил о хороших результатах в обучении больших языковых моделей (LLM) с использованием ускорителей AMD Instinct MI250 и собственной платформы.

Компания рассказала, что подыскивает от имени своих клиентов новое «железо» для машинного обучения, поскольку NVIDIA в настоящее время не в состоянии обеспечить своими ускорителями всех желающих. MosaicML пояснила, что требования к таким чипам просты:

• Реальные рабочие нагрузки: поддержка обучения LLM с 16-бит точностью (FP16 или BF16) с той же сходимостью и качеством конечной модели, что и при обучении на системах NVIDIA.
• Скорость и стоимость: конкурентоспособные производительность и соотношение производительности и стоимости.
• Разработка: минимальные изменения кода по сравнению с её существующим стеком (PyTorch, FSDP, Composer, StreamingDataset, LLM Foundry).

Источник изображений: MosaicML

Как отметила компания, ни один из чипов до настоящего времени смог полностью удовлетворить все требования MosaicML. Однако с выходом обновлённых версий фреймворка PyTorch 2.0 и платформы ROCm 5.4+ ситуация изменилась — обучение LLM стало возможным на ускорителях AMD Instinct MI250 без изменений кода при использовании её стека LLM Foundry.

Некоторые основные моменты:

• Обучение LLM было стабильным. С высокодетерминированным обучающим стеком LLM Foundry обучение LLM MPT-1B на ускорителях AMD MI250 и NVIDIA A100 дало почти идентичные кривые потерь при запуске с одной и той же контрольной точки. Исследователи даже смогли переключаться между ускорителями AMD и NVIDIA в течение тренировочного прогона.
• Производительность была конкурентоспособной с существующими системами A100. Исследователи профилировали пропускную способность обучения моделей MPT с параметрами от 1 до 13 млрд и обнаружили, что скорость обработки MI250 на один ускоритель находится в пределах 80 % от A100-40GB и в пределах 73 % от A100-80GB. Как ожидает компания, этот разрыв сократится по мере улучшения программного обеспечения AMD.

При этом никаких изменений в коде не потребовалось.

Все результаты получены на одном узле из четырёх MI250, но компания работает с гиперскейлерами для проверки возможностей обучения на более крупных кластерах AMD Instinct. «В целом наши первоначальные тесты показали, что AMD создала эффективный и простой в использовании программно-аппаратный стек, который может конкурировать с NVIDIA», — сообщила MosaicML. Это важный шаг в борьбе с доминирующим положением NVIDIA на рынке ИИ.

Компания «Базальт СПО» объявила о подписании меморандума о сотрудничестве и взаимодействии с «Ассоциацией независимых разработчиков программного обеспечения и вычислительной техники на основе архитектуры RISC-V». Специалисты «Базальт СПО» окажут поддержку в развитии экосистемы RISC-V в России.

«Базальт СПО» также входит в международный альянс RISC-V International и ведёт работы по поддержке решений на базе этой архитектуры в своих операционных системах. Как сообщается на сайте российского Альянса RISC-V, его основная цель — «создание открытого сообщества разработчиков программного и аппаратного обеспечения, контролируемого участниками сообщества для дальнейшего развития архитектуры RISC-V в России».

Источник изображения: «Базальт СПО»

В рамках сотрудничества с Альянсом RISC-V взаимодействие будет вестись, в частности, по направлениям разработки отраслевых стандартов RISC-V и унификации рекомендаций к ПО для соответствующей архитектуры. Кроме того, планируется разработка и продвижение рекомендаций в сфере информационной безопасности при внедрении и эксплуатации продукции на базе RISC-V.

Ещё одним направлением станет совершенствование законодательства в области регулирования технических стандартов и правовых основ использования RISC-V. Партнёры также займутся организацией профильных мероприятий. Наконец, предполагается проведение научных и вспомогательных исследований в области разработки, внедрения и использования продуктов на основе RISC-V.

«На протяжении пяти лет мы вместе с сообществом ALT Linux Team активно развиваем открытый репозиторий Sisyphus riscv64. Это экспериментальная ветка собственной инфраструктуры разработки "Базальт СПО", на которой создается семейство операционных систем "Альт". Весь исходный код ОС "Альт" для платформы RISC-V открыт, также он будет публиковаться в национальном репозитории — российском аналоге GitHub», — сообщила «Базальт СПО».

Стоимость разработки ПО и сервисов на базе ИИ в России, по сообщению газеты «Коммерсантъ», за год подскочила как минимум на 30 %. Более того, к концу 2023-го рост может составить ещё до 50 %. Такая ситуация объясняется прежде всего сложившейся геополитической обстановкой и западными санкциями

В РФ сформировался дефицит кадров в области ИИ, а также серьёзно подорожало иностранное оборудование, в частности, ускорители NVIDIA. На этом фоне наблюдается быстрый рост стоимости создания ИИ-систем — за год стоимость разработки соответствующего софта поднялась на 30–40 %, сообщает «Коммерсантъ». При этом во всём мире затраты на создание ИИ-продуктов остались на прежнем уровне. С похожими проблемами столкнулся лишь Китай, также попавший под американские санкции.

Источник изображения: Geralt/pixabay.com

Кроме того, многие разработчики начали покидать страну весной 2022 года, получив предложения от зарубежных компаний с зарплатой в иностранной валюте. В результате, российским компаниям для удержания кадров приходится повышать оплату труда. А это приводит к увеличению общей стоимости создания ИИ-решений. Подорожание может продолжиться из-за санкционного давления, что чревато сокращением инвестиций в сфере ИИ. Участники рынка считают, что для развития российской ИИ-отрасли необходима поддержка государства.

Минцифры обсуждает создание в России независимых центров тестирования совместимости российского софта с отечественным оборудованием и операционными системами (ОС). Об этом на конференции «Российская микроэлектроника» заявил заместитель министра Максим Паршин, сообщают «Ведомости».

Пока не решено, какая форма финансирования будет использована: только бюджетная или с привлечением инвестиций заказчиков софта. Также пока прорабатывается механизм функционирования этих центров, порядок отзыва их лицензий при каких-либо нарушениях в их работе.

Такие компетенции, передают «Ведомости», уже есть, например, у Ассоциации документальной электросвязи, НИИ «Восход», Центра компетенций по импортозамещению ИКТ. Однако участники рынка отмечают, проблема совместимости программных продуктов все же остро стоит перед разработчиками. Также существует проблема запуска ПО на CPU разных архитектур.

Источник изображения: Hack Capital/unsplash.com

Как сообщалось ранее, в начале лета 2023 года Минцифры подготовило проект постановления, по которому разработчики должны будут обеспечить совместимость своего софта минимум с двумя отечественными ОС, иначе продукт не будет включен в реестр российского ПО.

Проект соответствующего постановления уже подготовлен Минцифры, и новые правила будут распространяться не только на новые программы, но и на присутствующее в реестре ПО. В Минцифры ожидают, что требования введут поэтапно — тем программам, которым уже повезло попасть в реестр, предоставят переходный период на доработку.

Газете «Коммерсантъ» стало известно о выходе российского производителя серверов YADRO из консорциума OpenPOWER Foundation (OPF), созданного IBM, Google, NVIDIA, Mellanox Technologies и Tyan, в котором он имел статус «платинового участника» с эксклюзивным доступом к разработкам процессорной архитектуры POWER компании IBM. Сейчас в консорциум входят несколько сотен членов.

В YADRO пояснили «Коммерсанту», что решение было принято«в связи с очевидными организационными сложностями в поддержании высокого темпа дальнейшей совместной работы и с учётом стратегического долгосрочного выбора в пользу архитектуры RISC-V». Сейчас открытая процессорная архитектура RISC-V обычно используется для создания решений с низкой производительностью, хотя, помимо целого ряда ИИ-ускорителей, есть прототипы достатчно современных серверных CPU, например, от Ventana или SOPHGO.

Будучи участником OPF, YADRO имела доступ к предоставляемой IBM совместной разработке архитектуры POWER, на базе которой выпускала серверы Vesnin и СХД Tatlin. Решения YADRO используются в том числе операторами для «закона Яровой», а также госструктурами. По итогам IV квартала 2021 года, согласно данным IDC, лидерами российского рынка СХД в денежном выражении стали Huawei, YADRO и Dell с долями 39,1 %, 20,9 % и 9,5 % соответственно, но по объёму поставленных ёмкостей лидировала YADRO, опередившая Huawei и Dell. В целом, компания в 2021 году показала хороший рост, да и прошлый год, судя по всему, был удачным.

Фото: YADRO

Эксперты отмечают, что после введения санкций дальнейшая разработка POWER-решений могла стать затруднительной. Вместе с тем в портфолио YADRO уже есть отечественный разработчик RISC-V решений — компания Syntacore, которая не так давно вошла в состав правления RISC-V International. Также YADRO в 2023 году открыла открыл центр разработки в Беларуси, который, как ожидается, также займётся развитием решений RISC-V. Ещё одним российским разработчиком того же профиля является Cloudbear, долю в котором два года назад получил владелец «Байкал электроникс».

Примечательно, что и создание OpenPOWER Foundation, и дальнейшее открытие POWER ISA связывают с желанием IBM обойти антикитайские санкции ради продолжения сотрудничества с Inspur, третьим по величине прозводителем серверов в мире, на которого в конечном итоге США неоднократно всё же накладывали ограничения. Впоследствии столь тесная дружба между IBM и Inspur даже привела к судебному разбирательству внутри Китая. Любопытно, что когда-то в состав OpenPOWER Foundation входила ещё одна российская компания, «Рикор».

Сообщество разработчиков ядра Linux отказалось принимать от российской компании «Байкал Электроникс» патчи для ядра. О запрете, как отмечает ресурс Phoronix, сообщил Якуб Кичиньский (Jakub Kicinski), занимающийся поддержкой сетевой подсистемы Linux. «Нам некомфортно принимать патчи от вашей организации или обновления, связанные с произведённым вами оборудованием», — заявил господин Кичиньский в переписке с Сергеем Сёминым, сотрудником «Байкал Электроникс».

Дело в том, что российский разработчик процессоров и SoC с архитектурами MIPS и Arm находится под европейскими и американскими санкциями. В этой связи Якуб Кичиньский посоветовал «Байкал Электроникс» воздержаться от внесения изменений в сетевую подсистему ядра Linux «до дальнейшего уведомления». Отметим, что именно благодаря «Байкал Электроникс» в ядре Linux появилась полноценная поддержка Warrior P5600 — именно это решение лежит в основе чипа «Байкал-Т1».

Источник изображения: «Байкал Электроникс»

Как уточняет Phoronix, отказ принимать патчи последовал после того, как «Байкал Электроникс» предложила ряд исправлений для сетевого драйвера STMMAC. Он предназначен для Ethernet-контроллеров Synopsys, которые используются в решениях российской компании. «Серия исправлений, о которой идёт речь, не относится непосредственно к решениям "Байкал Электроникс", а представляет собой всего лишь исправления для сетевого драйвера Synopsys, используемого несколькими различными аппаратными платформами/организациями», — подчёркивается в публикации.

Intel в рамках мероприятия Innovation раскрыла имя партнёра по разработке IPU Mount Evans — им оказалась компания Google. Впрочем, это не означает, что новинки будут доступны только ей и окажутся оптимизированы только под её задачи. IPU хоть и ориентированы в первую очередь на гиперскейлеров (среди возможных заказчиков называют и Facebook✴), но, по мнению Intel, будут интересны и менее крупным игрокам. Более того, было, наконец, прямо сказано, что ведётся работа и над Project Monterey от VMware.

Как пояснил Гвидо Аппенцеллер (Guido Appenzeller), технический директор подразделения Data Platforms Group Intel, название IPU (Infrastructure Processing Unit) было выбрано в противовес всё ещё относительно новому, но более привычному термину DPU (Data Processing Unit) именно потому, что IPU охватывает более широкий спектр задач по работе именно с инфраструктурой, а не только c данными.

Справедливости ради отметим, что и сами DPU, поначалу чаще ориентированные именно на ускорение работы с СХД и устранению узких мест в передаче данных, уже расширили свою функциональность и практически являются IPU именно в терминологии Intel — этот класс сопроцессоров независим от хост-системы и занимается обслуживанием инфраструктуры, включая работу с сетью и хранилищем, изоляцию и телеметрию, управление нагрузками и т.д.

У Intel достаточно богатый опыт работы по сетевому направлению с гиперскейлерами. По словам Аппенцеллера, семь из восьми крупнейших компаний этого класса используют решения Intel во всей или хотя бы в некоторых частях своей инфраструктуры. Так, Microsoft, Baidu и JD полагаются на SmartNIC на базе FPGA. Партнёрство же с Google будет выгодно для обеих компаний. Intel получит заказы, а Google, наконец, обретёт то, что давно есть у Amazon — аналог Nitro. На масштабе в миллионы серверов это очень важно.

Однако IPU (как аппаратные устройства) — только часть общей картины. Для полноты не хватает как минимум ещё двух компонентов: программного стека и сопутствующей инфраструктуру. Tofino-3 — анонсированный ранее чип или, как его называет сама Intel, Intelligent Fabric Processor — не только поддерживает коммутацию на скорости 25,6 Тбит/с с параллельным сбором телеметрии, но и является полностью P4-программируемым. А это позволяет организовать сквозные мониторинг, управление и оптимизацию трафика для конкретных задач.

Или, иными словам, IPU и подходящие коммутаторы позволяют сделать всю инфраструктуру практически полностью программно определяемой, но с аппаратной разгрузкой части функций и близкой к bare metal итоговой производительностью. Правда, в качестве демо Intel опять же приводит «классические» примеры с СХД и Open vSwitch, а также сценарии глубокого мониторинга производительности и быстрого поиска проблемных мест в сети. Но этим потенциальные возможности не ограничиваются.

Более того, со стороны ПО и средств разработки жёсткой привязки именно к «железу» Intel нет. Компания представила open source фреймворк IPDK (Infrastructure Programmer Development Kit) для упрощения переноса и, что важно, оптимизации наиболее тяжёлых или нетривиально реализуемых функций ПО на SmartNIC (с FPGA или иной программируемой логикой), IPU/DPU, коммутаторы или CPU. IPDK дополняет уже имеющиеся решения вроде DPDK, SPDK и т.д. возможностями работы с P4.

Летом уходящего года компания Tachyum объявила о том, что собирается отправить Xeon «на свалку истории». Сделать это должен 128-ядерный процессор нового поколения Prodigy. Хотя массово он пока не производится, компания продолжает активно работать над проектом и совсем недавно объявила начало предзаказов на эмуляторы нового процессора, как программные, так и базирующиеся на ПЛИС. Также она продемонстрировала рабочий UEFI для будущих CPU.

Молодая словацкая компания замахнулась на многое. Её процессор должен получить до 128 ядер, работающих на частоте до 4 ГГц. Чтобы «накормить» его данными, предусмотрен 12-канальный контроллер памяти DDR5. С периферией Prodigy будет общаться посредством 48 линий PCIe 5.0, но также получит и два контроллера Ethernet класса 400G. Характеристики весьма впечатляют.

Разработчики заявляют, что Prodigy найдёт своё место в системах класса Big Data и мощных системах машинного обучения. Если верить Tachyum, производительность разрабатываемого процессора должна достигнуть 16 и 8 Тфлопс на классичесих вычислениях FP32/FP64. В режиме машинного обучения и инференса возможности новой архитектуры выглядят ещё внушительнее, поскольку речь идёт о цифре 262 Тфлопс.

Столь громкие анонсы в истории вычислительной техники часто заканчивались «на бумаге», но Tachyum действительно работает над реализацией Prodigy. Как это обычно бывает, новая процессорная архитектура отрабатывается разработчиками с помощью эмуляции — как чисто программной, так и базирующейся на мощных ПЛИС. Это позволяет понять возможности и особенности поведения архитектуры, пусть и работающей с меньшей производительностью.

В начале декабря Tachyum объявила об открытии предзаказов на ПЛИС-эмулятор Prodigy, позволяющий начать разработку программного обеспечения для будущих систем на базе нового процессора уже сейчас. Поставки должны начаться в первом квартале 2021 года. В середине месяца Tachyum анонсировала и возможность заказа программного эмулятора Prodigy. Главная ценность такого эмулятора — более низкая стоимость в сравнении с вариантом на базе ПЛИС.

Любой процессор неработоспособен без сопутствующего системного программного обеспечения — BIOS или, что сейчас встречается намного чаще, UEFI. В начале месяца Tachyum объявила о том, что передаст OEM и ODM-партнёрам UEFI, разработанное для новой архитектуры. При этом ПО будет поставляться не только в бинарном виде, разработчики получат и исходные коды.

К настоящему времени, таким образом, компания предлагает программные и ПЛИС-эмуляторы нового процессора, и сопутствующее программное обеспечение. К чести Tachym, разработан не только UEFI — имеется и ядро Linux с поддержкой новой архитектуры, набор средств разработки, включая компиляторы (в том числе, для ИИ-задач) и отладчики кода. Успешно продемонстрирована возможность работы на Prodigy бинарного кода, созданного для архитектур x86, ARM и RISC-V.

Первые чипы Prodigy должны появиться уже в следующем году. Если запуск будет успешным, Tachym может сильно изменить привычную картину мира в сфере HPC и ИИ, ведь новая архитектура обещает быть производительнее классических Xeon и EPYC при на порядок более низком энергопотреблении, втрое более низкой стоимостью в пересчёте на MIPS, и вчетверо более низкой стоимостью владения.

Более того, Prodigy угрожает даже ускорителям, обеспечивая сравнимый или более высокий уровень производительности в задачах, где последние традиционно сильны, например, в системах машинного обучения. Остаётся лишь пожелать Tachyum удачи в столь смелом начинании.