Специалисты «Базис», компании-лидера российского рынка средств виртуализации, вместе с сотрудниками ИСП РАН и испытательной лаборатории «Фобос-НТ» провели очередной этап тестирования компонентов с открытым исходным кодом, которые используются в инструментах виртуализации по всему миру, в том числе в продуктах компании. Результатом совместной работы стало обнаружение и последующее устранение 191 дефекта в коде, некоторые из которых были расценены как уязвимости.

В рамках нового этапа испытаний тестировались следующие компоненты с открытым исходным кодом: nginx, ActiveMQ Artemis, Apache Directory, libvirt-exporter, QEMU. Особое внимание было уделено libvirt — сбой в работе этой библиотеки может нанести ущерб инфраструктуре и привести к утечке конфиденциальной информации, поэтому она была подвергнута комплексному исследованию. Перечисленные компоненты используются вендорами по всему миру — libvirt предоставляет API для управления виртуальными машинами, nginx помогает балансировать нагрузку и т.д. — и от качества их работы зависит множество российских и иностранных решений для работы с виртуальными средами.

При разработке и тестировании продуктов «Базис» применяются различные виды анализа, такие как фаззинг, статический анализ, композиционный анализ, модульное и функциональное тестирование. На прошедшем этапе испытаний основной упор исследователи сделали на разметке срабатываний статического анализатора Svace (разработан в ИСП РАН) и создании фаззинг-целей.

Статический анализ выявил 178 дефектов в коде тестируемых компонентов. Изучив их, специалисты ИСП РАН и «Базис» разработали 86 исправлений, которые были приняты в основные ветки разработки соответствующих проектов. Большая часть срабатываний относилась к популярному брокеру сообщений ActiveMQ Artemis и серверу каталогов Apache Directory.

Фаззинг-тестирование выявило еще 13 дефектов в коде — 5 в Apache Directory LDAP API и 8 в библиотеке libvirt. Последние были найдены в ходе проверки функций обработки инструкций, которые потенциально могут быть получены из конфигурационных файлов при создании виртуальной машины. В частности, были найдены ошибки, связанные с переполнением буфера, а также несколько проблем, связанных с неоптимальной работой функций в отношении некоторых контроллеров. Все поданные исправления были оперативно приняты в основные ветки разработки libvirt и Apache Directory.

Источник изображения: Markus Spiske / Unsplash

В рамках подготовки к тестированию для наиболее критичных компонентов открытого ПО, лежащих на поверхности атаки, были разработаны фаззинг-тесты. Их можно найти в соответствующих проектах на GitLab-портале Центра исследований безопасности системного ПО. В дальнейшем созданные сотрудниками ИСП РАН и «Базис» цели послужили исследованиям, которые специалисты «Фобос-НТ» выполняли на своих мощностях. Найденные коллегами дефекты также были учтены при обновлении компонентов с открытым исходным кодом в продуктах «Базис».

«Мы очень серьезно относимся к качеству кода экосистемы «Базис», поэтому тестируем на ошибки и уязвимости не только собственный код, но даже компоненты с открытым исходным кодом, которые используем. Более того, без такого тестирования невозможны современная безопасная разработка и сертификация. Такой подход делает наши решения более качественными и защищенными, а также вносит вклад в развитие открытых инструментов виртуализации, которые используются различными вендорами по всему миру. Реализовать его было бы сложно без партнеров, сотрудничество с ИСП РАН и НТЦ «Фобос-НТ» позволяет «Базису» выстраивать качественные процессы безопасной разработки и тестирования инструментов виртуализации, повысить уровень зрелости экосистемы. В результате наши продукты не только сертифицированы ФСТЭК России, но и в максимально короткие сроки проходят инспекционный контроль. В итоге наши заказчики могут быть уверены, что решения «Базиса» проверены, а созданная на их основе инфраструктура компании безопасна», — отметил Дмитрий Сорокин, технический директор компании «Базис».

Очередной этап тестирования и исследования кода проходил на инфраструктуре Центра исследований безопасности системного ПО, созданного ФСТЭК России на базе ИСП РАН. Компания «Базис» принимает непосредственное участие в деятельности Центра и является активным участником РБПО-процессов, инициируемых и развиваемых ФСТЭК России. Работы по разметке и созданию целей для фаззинга выполнялись совместно с ИСП РАН, к решению этой задачи были привлечены студенты профильных специальностей МГТУ им. Н.Э. Баумана и Чувашского государственного университета. Сотрудники испытательной лаборатории НТЦ «Фобос-НТ» проводят сертификационные испытания продуктов «Базис» и занимаются улучшением фаззинг-тестов, в том числе разработанных компанией.

Облачный провайдер DigitalOcean представил платформу GenAI, которая позволяет использовать базовые модели от сторонних поставщиков для создания и развёртывания агентов ИИ за считанные минуты без необходимости глубоких знаний в области ИИ или машинного обучения. Как сообщает DigitalOcean, интуитивно понятная работа в GenAI позволяет клиентам вне зависимости от уровня подготовки настраивать агентов с доступом к надёжным конвейерам данных и многоагентным командам.

DigitalOcean GenAI позволяет компаниям создавать чат-боты на основе базовых моделей сторонних поставщиков (Anthropic, Meta✴, Mistral и др.) для анализа документов, семантического поиска, создания изображений и т.д. Платформа создана так, чтобы быть независимой от фреймворков. Платформа упрощает и создание агентов, специфичных для конкретных вариантов использования, привнося контекстные данные в базовые LLM.

Клиенты смогут не только извлекать неструктурированные данные из файлов, но и структурированные данные из баз данных или обращаясь к API, чтобы дополнять подсказки и задействовать Retrieval Augmented Generation (RAG), обеспечивая агентам доступ к точной и актуальной информации. С помощью вызываемых функций можно дописать кастомный код, чтобы расширить возможности своего агента.

Источник изображения: DigitalOcean

Встроенные ограничители (guardrails) позволяют повысить достоверность ответов агента, помогая отфильтровывать неправильные или ненадлежащие результаты. А возможность частных подключений и наличие готового интерфейса для чат-ботов упрощают запуск этих агентов на веб-сайте клиента. В будущем появится возможность обращаться к источникам данным по URL, поддержка конвейеров AgentOps и CI/CD, тонкая настройка моделей и многое другое.

Стартап Render Services объявил о привлечении $80 млн инвестиций в рамках раунда финансирования серии C, доведя общий объём финансирования до $157 млн. Раунд возглавила Georgian. Также в нём приняли участие 01A, Avra наряду с существующими инвесторами Addition, Bessemer Venture Partners, General Catalyst и South Park Commons Fund. Также стартап сообщил о том, что количество разработчиков, использующих его платформу, превысило 2 млн.

Как утверждает Render, с помощью его платформы разработчикам гораздо проще запускать приложения, сервисы и веб-сайты в облачной инфраструктуре по сравнению с традиционными платформами, такими как AWS. Платформа Render устраняет необходимость для разработчиков разбираться со сложными конфигурациями и настройками облачных инфраструктур. Она автоматизирует рутинные задачи по управлению инфраструктурой, позволяя разработчикам сосредоточиться исключительно на своих приложениях. Разработчикам достаточно подключить свой репозиторий GitHub или GitLab, и платформа тут же предложит команды для развёртывания приложения.

Источник изображения: Render

Основатель и гендиректор Render Анураг Гоэл (Anurag Goel) сообщил SiliconANGLE, что платформа компании гибче, чем традиционные бессерверные решения, и способна поддерживать гораздо более полный набор рабочих нагрузок, в том числе выполняющихся очень долго. Он отметил, что многие клиенты переходят на платформу Render с других платформ, потому что им нужно использовать LLM API и веб-сокеты, а традиционные FaaS и бессерверные решения не отвечают их потребностям.

В числе преимуществ Render Гоэл назвал более быстрое развёртывание и возможность простого масштабирования. Render автоматизирует необходимую подготовку инфраструктуры, не заставляя разработчиков возиться с настройкой Kubernetes или других сред, говорит глава стартапа. Также у платформы Render ниже стоимость владения по сравнению с конкурентами.

Хольгер Мюллер (Holger Mueller) из Constellation Research отметил, что Render облегчает работу разработчиков, поскольку большинство публичных облаков стали невероятно сложными в управлении и эксплуатации. «Управление инфраструктурой отнимает у разработчиков много времени и ресурсов, поэтому приятно видеть альтернативу, такую как Render, которая справляется с этим», — заявил аналитик.

Хотя на китайском рынке ИИ-ускорителей по-прежнему доминирует NVIDIA, Huawei намерена отнять у неё значительную его долю. Для этого китайский разработчик намерен помочь китайским ИИ-компаниям внедрять чипы собственного производства для инференса, сообщает The Financial Times. Для обучения ИИ-моделей китайские производители в массе своей применяют чипы NVIDIA. Huawei пока не готова заменить продукты NVIDIA в этом деле из-за ряда технических проблем, в том числе из-за проблем с интерконнектом ускорителей при работе с крупными моделями.

Предполагается, что в будущем именно инференс станет пользоваться большим спросом, если темпы обучения ИИ-моделей замедлятся, а приложения вроде чат-ботов будут распространены повсеместно. Если инференс нужен постоянно, то к обучению ИИ-моделей прибегают лишь время от времени. По словам сотрудников и клиентов Ascend, компания сосредоточена на менее сложном, но, возможно, более прибыльном пути. Но поскольку ускорители NVIDIA и Huawei используют разные программные экосистемы, последняя предлагает бизнесам ПО для обеспечения совместимости.

Продукция Huawei продвигается при поддержке китайского правительства, внутри страны именно эта компания считается наиболее серьёзным конкурентом NVIDIA. И хотя китайские компании всё более ограничены в доступе к аппаратным решениям NVIDIA из-за санкций, они охотно покупают даже урезанные чипы H20, которые всё равно считают более предпочтительным вариантом, чем китайские альтернативы.

Источник изображения: Huawei

Задача Huawei — убедить разработчиков отказаться от платформы CUDA, во многом благодаря которой NVIDIA и смогла добиться успеха на рынке. От проблем с ПО страдает и AMD — по словам экспертов, именно оно не позволяет раскрыть потенциал ускорителей Instinct MI300X. Впрочем, готовящаяся к релизу версия Huawei Ascend 910C должна решить эти проблемы, поскольку новое поколение ускорителей получит ПО, упрощающее работу разработчиков. Тем временем китайские Baidu и Cambricon добились определённых успехов в разработке собственных ИИ-ускорителей, а ByteDance обратилась за помощью к Broadcom.

По оценкам SemiAnalysis, в прошлом году NVIDIA заработала $12 млрд на продажах своей продукции в Китае, поставив 1 млн ускорителей H20, т.е. вдвое больше, чем Ascend 910B. Впрочем, отрыв, по словам экспертов, быстро сокращается, поскольку Huawei наращивает производство. Отмечается, что рост доли Huawei на рынке ИИ-ускорителей отчасти сдерживается лишь недостаточным предложением её продукции. По мнению экспертов, наращивать производство будет трудно, поскольку Китайское вынужден использовать устаревшее оборудование из-за санкций США.

Специализация на инференсе может свидетельствовать и об особом векторе развития китайских ИИ-систем, отличающемся от американского. Китайские компании не участвуют в гонке Meta✴, xAI и OpenAI по созданию мегакластеров на базе решений NVIDIA. Зато большей эффективности в задачах инференса можно добиться даже с более слабыми чипами. Снизив стоимость работы ИИ-моделей, можно будет сохранять конкурентоспособность даже в таких условиях.

В прошлом месяце китайский стартап DeepSeek представил ИИ-модель V3, обеспечивающую низкие затраты на обучение и инференс в сравнении с сопоставимыми по возможностям моделями из США. DeepSeek утверждает, что Huawei успешно адаптировала V3 к Ascend. Ранее сообщалось, что Huawei охотно направляет к клиентам специалистов для помощи с переходом с NVIDIA на Ascend.

На днях глава по стратегии развития ИИ-технологий компании Synopsys Стелиос Диамантидис (Stelios Diamantidis) заявил, что в 2025 году наступит следующая фаза внедрения ИИ. По его словам, ИИ-агенты начнут сотрудничать со своими собратьями с минимальным вмешательством человека, сообщает EE Times.

Если ранее ИИ-боты представляли собой рудиментарные системы с заранее заданными правилами и деревьями решений, то теперь они эволюционировали в сложные агентные системы, способные понимать человеческую речь в произвольной форме, генерировать контент, постоянно учиться и менять своё поведение в результате обучения.

Такие ИИ-агенты могут быть использованы в специальных случаях и применяться только для определённых приложений, но скоро ситуация может измениться, когда один ИИ-агент сможет взаимодействовать с другим. В блоге Диамантидис добавил, что ИИ-агенты обучаются для улучшения интеграции и взаимодействия, включая разработку чипов.

Источник изображения: Daniel Lonn/unsplash.com

В Synopsys сообщили о внутреннем прикладном использовании подобных разработок. По результатам пилотного тестирования внутри компании, генеративный ИИ, как ожидается, сэкономит не менее 250 тыс. часов рабочего времени — сотрудники смогут более продуктивно потратить высвободившееся время на работу с клиентами.

Диамантидис добавил, что высокоспециализированные ИИ-агенты могли бы комбинировать и анализировать бессчётные объёмы информации, касающейся разработки полупроводников. Эти задачи могут быть связаны с созданием архитектуры чипа, оптимизацией энергопотребления и др. Сотрудничество ИИ с ИИ может выявлять скрытые закономерности, обеспечивать точные рекомендации по оптимизации проектирования чипов и повышению их производительности.

1500 участников собрала Открытая конференция ИСП РАН в московском кластере «Ломоносов» в декабре 2024 г., ещё 500 человек приняли участие онлайн. Организаторами выступили ИСП РАН, РАН, Национальный технологический центр цифровой криптографии, Академия криптографии РФ, ФПИ, а также международные ассоциации IEEE и IEEE Computer Society. В этом году на конференции были представлены 130 докладов и более 50 выставочных стендов института и компаний-партнёров.

«Традиционно на этой конференции мы подводим итоги года: вместе с партнёрами рассказываем о результатах совместной работы, о достижениях и трендах развития. В частности, в этом году мы сформировали консорциум с Курчатовским институтом и Объединенным институтом ядерных исследований для ИТ-обеспечения исследовательской инфраструктуры класса «мегасайенс»; консорциум с НТЦ ЦК и Академией криптографии для исследований безопасности технологий искусственного интеллекта; стали Центром компетенций Росфинмониторинга, – рассказал директор ИСП РАН, академик РАН Арутюн Аветисян. – Наши экспертные знания в области системного программирования востребованы в разных областях. Мы гордимся, что стали технологическим центром компетенций для многих компаний и организаций, а наша конференция — коммуникационной площадкой научных и отраслевых сообществ».

Источник изображений: ИСП РАН / Виталий Рагулин

В этом году конференция была приурочена к 30-летию ИСП РАН и 300-летию РАН. В начале пленарной сессии заместитель председателя Правительства РФ Дмитрий Чернышенко обратился к участникам с видеоприветствием.

«Сегодня РАН объединяет сотни ведущих ученых, которые обеспечивают технологическое лидерство нашей страны. Это национальная цель, поставленная нашим Президентом. Институт системного программирования — это ключевое звено в системе Академии. Здесь действует исследовательский центр в сфере искусственного интеллекта. Команда экспертов создает технологии доверенного искусственного интеллекта, которые уже успешно масштабируются. В России 12 таких профильных центров, ими разработано порядка 70 уникальных решений», — подчеркнул Дмитрий Чернышенко.

Свои приветствия направили президент РАН Геннадий Красников, вице-президент РАН Владислав Панченко, министр иностранных дел РФ Сергей Лавров, заместитель председателя Совета Федерации Юрий Воробьёв и другие.

Основными темами пленарной сессии стали развитие и внедрение технологий искусственного интеллекта (ИИ), а также инструментов разработки безопасного программного обеспечения (ПО). Модератором выступил директор ИСП РАН Арутюн Аветисян, участниками – представители руководства министерств, ведомств, других организаций и крупных компаний.

Заместитель министра цифрового развития, связи и массовых коммуникаций РФ, президент Академии криптографии Александр Шойтов подчеркнул, что институт активно сотрудничает с Минцифры, в том числе в рамках консорциума для исследований безопасности технологий ИИ. Сейчас в него входит двенадцать организаций, в январе ожидается присоединение еще шестнадцати. Начальник 2-го управления ФСТЭК России Дмитрий Шевцов заявил, что ведомство поддерживает деятельность консорциума по исследованиям безопасности технологий ИИ, а также рассказал про работу ведомства по обеспечению безопасности ПО.

«Мы уже восемь лет развиваем направление разработки безопасного ПО, создаём систему национальных стандартов. С июня этого года мы приступили к сертификации процессов безопасной разработки. На сегодняшний день уже две компании подтвердили свои компетенции по данному вопросу. Все эти действия позволяют нам обеспечивать безопасность технологических решений через безопасность кода — без этого невозможно обеспечить доверие к технологиям», – сообщил Дмитрий Шевцов.

Вице-президент ПАО «Транснефть» Андрей Бадалов сообщил, что компания уже использует ряд разработок ИСП РАН, а также рассказал про внедрение ИИ в целом.

«Мы очень взвешенно относимся к выбору внедряемых технологий, так как обеспечение непрерывности и безопасности производственной деятельности — наш главный приоритет. В компании создано Управление развития ИИ и системной архитектуры; мы уже перешли к фазе промышленного внедрения соответствующих технологий. Используются большие языковые модели, нейросети для оптимизации расчётов, технологии обработки пространственных данных. Оттачивается производственный конвейер по рассмотрению инициатив с применением технологий ИИ, дорабатывается технологическая платформа по разработке, применению и мониторингу работы ИИ моделей», – отметил Андрей Бадалов.

«В технологической независимости критической информационной инфраструктуры вопросы доверия требуют обязательного научного сопровождения, в том числе в области искусственного интеллекта. Сегодня ИИ находит применение в различных сферах, включая голосовые модели и видеоанализ. Основные перспективы использования этой технологии мы видим в математическом моделировании, а также во взрывном росте производительности труда технологов, проектировщиков и конструкторов», – сообщил директор по информационной инфраструктуре госкорпорации «Росатом» Евгений Абакумов. Он подчеркнул также важность добровольной сертификации процессов и продуктов и рассказал, что в 2024 году «Росатом» зарегистрировал соответствующую систему «КИИ-СЕРТ».

«На данный момент почти 41% компаний топливно-энергетического комплекса (ТЭК) России уже использует ИИ; 18% планируют его внедрение к 2026 году. В рейтинге Аналитического центра при Правительстве ТЭК занимает третье место по уровню внедрения ИИ среди четырнадцати отраслей. Основные вызовы сейчас — это тестирование ИИ в технологически непрерывной отрасли (уже создаются специальные полигоны), качественная обработка данных, а также вопросы ответственности за его решения. Хочу также отметить, что мы поддерживаем идею добровольной сертификации. Это повысит качество и уровень безопасности», – подчеркнул заместитель министра энергетики РФ Эдуард Шереметцев.

«Одна из самых трудных задач в импортозамещении — это развитие экосистемы. В России есть крупные производители средств защиты информации. Но на Западе, например, аналогичные компании взаимодополняемы, а у нас мы этого не наблюдаем! Еще одна проблема — производительность. Проверяем технологии в лабораториях компаний — результаты хорошие. Как только у себя устанавливаем и адаптируем — не такая производительность. И тут тоже нужны решения. Взваливать всю вину на производителей — неправильно. Необходимо работать в кооперации, только так проблемы можно решить», – заявил Дмитрий Миклухо, старший вице-президент, директор департамента информационной безопасности ПСБ.

Важность создания экосистемы подчеркнул и генеральный директор НМИЦ им. В.А. Алмазова Евгений Шляхто.

«Нам всем нужны единые централизованные системы биобанкирования, аналитические сервисы, стандартизация форматов данных, единый контур документов и хранилищ изображений. Для всего этого требуются информационные технологии. И тут уже достигнуто плато продуктивности. Дальше двигаться невозможно без системного подхода. Нужны интеграторы, которые дадут нам платформенные решения. Вместе мы сможем создать экосистему, которая будет генерировать медицинские изделия и много всего другого», – подчеркнул Евгений Шляхто.

«Мы долго шли к использованию ИИ в нашей деятельности. Сейчас мы уже применяем определённые наработки для выявления лиц, занимающихся противоправной деятельностью. Но тут возникают вопросы: насколько можно всё это масштабировать? И насколько аналитики могут доверять выводам ИИ? Решать эти проблемы надо в комплексе: и повышая цифровые компетенции сотрудников, и развивая модели по разным предметным областям. Именно это мы и планируем делать — во взаимодействии с институтом», – рассказал заместитель директора Росфинмониторинга Антон Лисицын.

В этом году конференцию поддержали более 20 партнёров — компаний и вузов. Появился круглый стол по преподаванию системного программирования в вузах. Много внимания привлекла новая секция «Системы управления базами данных», а также секция «Разработка безопасного ПО: качество, доверие, сообщество», где впервые обсуждались вопросы РБПО в финтехе и электроэнергетике. Впервые состоялось награждение сотрудников компаний, сделавших наиболее значимый вклад в работу Центра исследований безопасности системного ПО. Они получили грамоты ФСТЭК России и награды Центра.

На конференции было подписано несколько соглашений, в том числе между НТЦ ЦК и Ассоциацией предприятий компьютерных и информационных технологий – о сотрудничестве в консорциуме исследований безопасности технологий ИИ, а также между ИСП РАН и Всероссийским НИИ фитопатологии.

Короткий видеоролик о конференции 2024 года: https://vkvideo.ru/video-214485707_456239033.

Организация Foundation опубликовала отчёт за 2024 год. Всего за отчётный период организация получила $292,2 млн (год назад — $263,6 млн). Почти половина (43 % или $125,1 млн) полученных средств приходится на пожертвования и взносы участников организации. В прошлом году по этой статье было получено $118,2 млн.

25,1 % ($73,6 млн, год назад — $67 млн) было выделено организации в качестве целевой поддержка проектов; 18,6 % ($54,5 млн, год назад — $49,5 млн) приходится на поддержку мероприятий, а также регистрационные взносы на конференциях; 12,3 % ($36,1 млн, год назад — $27,2 млн) получено в качестве оплаты за обучающие курсы и получение сертификатов.

Организация отметила, что доля затрат, связанных с разработкой ядра, в общем объёме расходов снизилась до 2,3 % с 2,9 % в 2023 году. В 2022 доля составляла 3,2 %, в 2021 году — 3,4 %. На разработку ядра Linux в этом году было израсходовано $6,8 млн, что на $1 млн меньше, чем в прошлом году и на $1,4 млн меньше, чем в позапрошлом году.

Источник изображений: Linux Foundation

Общая сумма расходов за 2024 год равняется 299,7 млн (в 2023 году — $269 млн). Расходы на не связанные с ядром проекты увеличились с $171,8 млн в прошлом году до $193,7 млн (64,6 % всех расходов).

Расходы на поддержание инфраструктуры составили $22,69 млн (7,6 %, в прошлом году — $22,58 млн), затраты на программы обучения и сертификации — $23,1 млн (7,7 %, в прошлом году — $18,57 млн), затраты на корпоративные операции — $18,9 млн (6,3 %, в прошлом году — $17,1 млн), расходы на проведение мероприятий — $15,2 млн (5,0 %, в прошлом году — $14,61 млн), затраты на сопровождение сообщества — $13,7 млн (4,5 %, год назад — $13,5 млн). Расходы на международные операции выросли с $2,96 млн до $5,6 млн (1,8 %).

Сообщается, что количество курируемых Linux Foundation проектов приблизилось к 1300, тогда как год назад их насчитывалось около 1100. Наибольшее число проектов Linux Foundation связано с облачными технологиями, контейнерами и виртуализацией (23 %), с сетевыми технологиями (15 %), ИИ (11 %), web-разработкой (11 %), cross-technology (9 %), безопасностью (5 %), Интернетом вещей (4 %) и блокчейном (4 %).

Аналитическая компания SemiAnalysis опубликовала результаты исследования, длившегося пять месяцев и выявившего большие проблемы в ПО AMD для работы с ИИ, из-за чего на данном этапе невозможно в полной мере раскрыть имеющийся у ускорителей AMD Instinct MI300X потенциал. Проще говоря, из-за забагованности ПО AMD не может на равных соперничать с лидером рынка ИИ-чипов NVIDIA. При этом примерно три четверти сотрудников последней заняты именно разработкой софта.

Как сообщает SemiAnalysis, из-за обилия ошибок в ПО обучение ИИ-моделей с помощью ускорителей AMD практически невозможно без значительной отладки и существенных трудозатрат. Более того, масштабирование процесса обучения как в рамках одного узла, так и на несколько узлов показало ещё более существенное отставание решения AMD. И пока AMD занимается обеспечением базового качества и простоты использования ускорителей, NVIDIA всё дальше уходит в отрыв, добавляя новые функции, библиотеки и повышая производительность своих решений, отметили исследователи.

Источник изображений: SemiAnalysis

На бумаге чип AMD Instinct MI300X выглядит впечатляюще с FP16-производительностью 1307 Тфлопс и 192 Гбайт памяти HBM3 в сравнении с 989 Тфлопс и 80 Гбайт памяти у NVIDIA H100. К тому же чипы AMD предлагают более низкую общую стоимость владения (TCO) благодаря более низким ценам и использованию более дешёвого интерконнекта на базе Ethernet. Но проблемы с софтом сводят это преимущество на нет и не находят реализации на практике. При этом исследователи отметили, что в NVIDIA H200 объём памяти составляет 141 Гбайт, что означает сокращение разрыва с чипами AMD по этому параметру.

Кроме того, внутренняя шина xGMI лишь формально обеспечивает пропускную способность 448 Гбайт/с для связки из восьми ускорителей MI300X. Фактически же P2P-общение между парой ускорителей ограничено 64 Гбайт/с, тогда как для объединения H100 используется NVSwitch, что позволяет любому ускорителю общаться с другим ускорителем на скорости 450 Гбайт/с. А включённый по умолчанию механизм NVLink SHARP делает часть коллективных операций непосредственно внутри коммутатора, снижая объём передаваемых данных.

Как отметили в SemiAnalysis, сравнение спецификаций чипов двух компаний похоже на «сравнение камер, когда просто сверяют количество мегапикселей», и AMD просто «играет с числами», не обеспечивая достаточной производительности в реальных задачах. Чтобы получить пригодные для аналитики результаты тестов, специалистам SemiAnalysis пришлось работать напрямую с инженерами AMD над исправлением многочисленных ошибок, в то время как системы на базе NVIDIA работали сразу «из коробки», без необходимости в дополнительной многочасовой отладке и самостоятельной сборке ПО.

В качестве показательного примера SemiAnalysis рассказала о случае, когда Tensorwave, крупнейшему провайдеру облачных вычислений на базе ускорителей AMD, пришлось предоставить целой команде специалистов AMD из разных отделов доступ к оборудованию с её же ускорителями, чтобы те устранили проблемы с софтом. Обучение с использованием FP8 в принципе не было возможно без вмешательства инженеров AMD. Со стороны NVIDIA был выделен только один инженер, за помощью к которому фактически не пришлось обращаться.

У AMD есть лишь один выход — вложить значительные средства в разработку и тестирование ПО, считают в SemiAnalysis. Аналитики также предложили выделить тысячи чипов MI300X для автоматизированного тестирования, как это делает NVIDIA, и упростить подготовку окружения, одновременно внедряя лучшие настройки по умолчанию. Проблемы с ПО — основная причина, почему AMD не хотела показывать результаты бенчмарка MLPerf и не давала такой возможности другим.

В SemiAnalysis отметили, что AMD предстоит немало сделать, чтобы устранить выявленные проблемы. Без серьёзных улучшений своего ПО AMD рискует еще больше отстать от NVIDIA, готовящей к выпуску чипы Blackwell следующего поколения. Для финальных тестов Instinct использовался специально подготовленный инженерами AMD набор ПО, который станет доступен обычным пользователям лишь через один-два квартала. Речь не идёт о Microsoft или Meta✴, которые самостоятельно пишут ПО для Instinct. Один из автором исследования уже провёл встречу с главой AMD Лизой Су (Lisa Su), которая пообещала приложить все усилия для исправления ситуации.

VK объявила о запуске инициативы OpenVK для публикации ПО с открытым кодом, которая «будет способствовать обмену знаний и опытом между профессионалами ИТ-отрасли», стимулируя развитие сообщества разработчиков благодаря предоставлению доступа к передовым технологиям и инструментам. Главные направления OpenVK: ИТ-системы и продукты, инструменты и библиотеки для разработчиков, а также ИИ-модели.

Уже сейчас на OpenVK доступны платформа Tarantool для создания высоконагруженных приложений, система визуализации данных для мониторинга StatsHouse, дизайн-система VKUI для создания удобных пользовательских интерфейсов, инструмент для патчинга байт‑кода Android‑приложений ByteWeaver, ИИ-модели и библиотеки для их создания и т.д. В их числе есть и модель для синтеза речи EmoSpeech, которая позволяет генерировать эмоциональную и естественную речь.

Источник изображения: Sigmund / Unsplash

Согласно пресс-релизу, ресурс будет регулярно пополняться новыми продуктами, которые также принесут пользу сообществу разработчиков решений с открытым кодом. «Открытый исходный код — основной драйвер развития IT во всём мире. Без него нейросети, быстрые базы данных и современный интернет могли бы не появиться», — отметила VK, одна из первых компаний в России, которые открыли исходный код собственных проектов.

«Мы понимаем, что надо не только брать из open source, но и отдавать. Поэтому мы хотим делиться функциональными инструментами и разработками, которые были созданы внутри VK и принесут реальную пользу сообществу», — подчеркнула VK.

Словацкая компания Tachyum, разрабатывающая процессоры Prodigy с уникальной архитектурой, объявила о выпуске руководства по оптимизации производительности этих чипов. Точнее, для FPGA-эмулятора Prodigy, поскольку самих чипов всё ещё нет. Огромный документ на 1600 страниц содержит подробную информацию о том, как в полной мере воспользоваться потенциалом новинки.

Первая информация о разработке Prodigy появилась в 2019–2020 гг. Эти суперпроцессоры, как утверждается, объединяют возможности CPU, GPU и TPU. Они предназначены для решения различных ресурсоёмких задач, связанных в том числе с ИИ и машинным обучением.

Сроки выпуска Prodigy несколько раз пересматривались: сначала выход чипов был перенесён с 2021-го на 2022 год, затем — на 2023 год, а впоследствии — на 2024-й. В соответствии с текущими планами Tachyum намерена начать отгрузку образов чипов в 2025 году.

Источник изображения: Tachyum

Подготовленное руководство для изделий Prodigy, как заявляет компания, содержит рекомендации по созданию высокопроизводительного ПО для этой платформы. Документ описывает конкретные методы оптимизации, включая управление ограничениями диспетчеризации, улучшение процедур работы памяти и пр. Кроме того, описаны способы обработки операций кеширования и доступа к специальным регистрам для тонкой настройки с целью достижения максимальной производительности.

В руководстве рассматриваются особенности чипов. Архитектура набора инструкций Prodigy (ISA) представляет собой смесь RISC и CISC, но не включает какие-либо сложные и/или длинные и неэффективные инструкции переменной длины. Все инструкции имеют ширину 32 или 64 бит, а некоторые из них содержат функции доступа к памяти для дальнейшего повышения производительности.

Изделия Prodigy объединяют до 192 ядер с тактовой частотой до 5 ГГц и выше. Реализованы 16 каналов памяти DDR5-7200 с возможностью использования до 32 Тбайт ОЗУ в расчёте на процессорный разъём. Поддерживаются 96 линий PCIe 5.0. Планируемая технология производства — 5 нм. В конце 2023 года Tachyum получила заказ на поставку чипов Prodigy для создания суперкомпьютера с ИИ-производительностью до 8 Зфлопс.