Материалы по тегу: ии
07.04.2025 [09:25], Сергей Карасёв
Комплект для ИИ-разработчиков AAEON NV8600-Nano содержит модуль NVIDIA Jetson Orin NanoКомпания AAEON представила под брендом UP комплект NV8600-Nano AI Developer Kit для разработчиков, создающих устройства с поддержкой ИИ. В основу новинки положен модуль NVIDIA Jetson Orin Nano Super с производительностью 67 TOPS (на операциях INT8). Названное изделие содержит процессор с шестью вычислительными ядрами Arm Cortex-A78AE и 8 Гбайт оперативной памяти LPDDR5. Присутствует GPU на архитектуре NVIDIA Ampere с 1024 ядрами CUDA и 32 тензорными ядрами. Интерфейсная плата набора NV8600-Nano AI Developer Kit располагает четырьмя сетевыми портами 1GbE с опциональной поддержкой PoE (25,6 Вт на каждый порт), шестью разъёмами USB 3.2 Gen2 Type-A, коннектором HDMI 1.4a, последовательным портом RS-232(RX/TX/GND)/422/485, SATA-разъёмом для подключения накопителя, двумя коннекторами MIPI-CSI, а также 40-контактной колодкой, совместимой с NVIDIA Jetson Orin Nano Developer Kit. ![]() Источник изображения: AAEON На тыльной стороне платы находятся коннекторы M.2 2230 E-Key для комбинированного модуля Wi-Fi / Bluetooth, M.2 2242/3042/3052 B-Key (плюс слот для SIM-карт) для сотового модема и M.2 2280 M-Key для накопителя. Установлен NVMe SSD вместимостью 256 Гбайт. Диапазон рабочих температур простирается от -25 до +70 °C. Габариты составляют 166 × 133 мм, масса — около 190 г. В комплект поставки входят внешний адаптер питания мощностью 60 Вт, кулер с радиатором и вентилятором, а также камера Raspberry Pi Camera Module 2. Говорится о совместимости с Linux (NVIDIA Jetpack 6.0 и выше). Приобрести набор NV8600-Nano AI Developer Kit можно по ориентировочной цене $650.
07.04.2025 [09:23], Сергей Карасёв
Госзаказчиков в РФ могут обязать закупать серверы по 100 % предоплатеПервый заместитель председателя правительства России Денис Мантуров, как сообщает газета «Коммерсантъ», поручил Минпромторгу и Минфину разработать проект постановления, предусматривающий внесение аванса в размере 100 % по государственным контрактам на поставку отдельных видов российской радиоэлектронной продукции. Новые требования затронут государственных и муниципальных заказчиков. Ранее российские производители электроники пожаловались на слабые продажи, а также на недостаточную загруженность мощностей по выпуску продукции. С целью решения проблем, как считает автономная некоммерческая организация «Вычислительная техника» (АНО ВТ; входят YADRO, «Аквариус», Kraftway и др.), необходимо принятие дополнительных мер поддержки, включая госсубсидии и ограничение параллельного импорта. В соответствии с поручением Мантурова, предоплата в размере 100 % при госзакупках распространится на серверы, компьютеры и некоторые другие виды продукции. Кроме того, предлагается исключить из списка параллельного импорта ряд иностранных поставщиков. Ожидается, что это повысит конкурентоспособность российских производителей и укрепит их позиции на внутреннем и внешнем рынках. Кроме того, полное авансирование госзаказа позволит частично нивелировать негативный эффект от высокой ключевой ставки Банка России, которая составляет 21 %. В компании Fplus (производитель электроники) полагают, что введение авансовых платежей при госзакупках поможет покрыть расходы производителей на покупку компонентов и прочие издержки. С другой стороны, считает вице-президент, директор по закупкам «Ростелекома», 100 % предоплата не стимулирует предприятия к своевременной и качественной поставке продукции — такая модель «необязательна для отечественной электронной промышленности, поскольку в стоимость товара уже заложена маржа, не требующая предоплаты».
06.04.2025 [14:05], Сергей Карасёв
Начато создание европейского суперкомпьютера Daedalus с производительностью 89 ПфлопсЕвропейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) сообщило о подписании соглашения с компанией НРЕ на создание суперкомпьютера Daedalus, который расположится в Греции и будет интегрирован с ИИ-фабрикой Pharos. Контракт с НРЕ заключён при участии Национальной инфраструктуры исследований и технологий GRNET S.A. в Афинах. Общая стоимость создания Daedalus оценивается в €36 млн. Из этой суммы 35 % предоставит EuroHPC JU, а остальные 65 % будут привлечены в рамках Национального плана восстановления и обеспечения устойчивости «Греция 2.0». В проекте также участвуют Кипр, Черногория и Северная Македония, вошедшие в специально сформированный консорциум Daedalus. Производительность нового суперкомпьютера составит более 89 Пфлопс (FP64). С таким показателем быстродействия в ноябрьском рейтинге мощнейших суперкомпьютеров мира TOP500 комплекс Daedalus мог бы занять 17-е или 18-е место. Для НРС-платформы предусмотрено применение возобновляемых источников энергии и передовых систем охлаждения, которые значительно повысят энергетическую эффективность. Суперкомпьютер Daedalus станет доступен в начале 2026 года широкому кругу пользователей по всей Европе, включая научное сообщество, промышленную сферу и государственный сектор. Машина расположится в новом дата-центре в здании бывшей электростанции Технологического культурного парка Лаврион Национального технического университета Афин (NTUA). Доступ к вычислительным ресурсам комплекса будет совместно управляться EuroHPC JU и консорциумом Daedalus пропорционально их инвестициям. Ожидается, что Daedalus ускорит научные достижения Европы в различных областях, включая ИИ, медицину, метеорологию, анализ больших данных и разработку интеллектуальных транспортных систем. В декабре 2024 года консорциум EuroHPC выбрал площадки для первых европейских ИИ-фабрик (AI Factory): они разместятся в Финляндии, Германии, Греции, Италии, Люксембурге, Испании и Швеции. Аналогичные комплексы также появятся в Австрии, Болгарии, Франции, Германии, Польше и Словении.
05.04.2025 [10:36], Сергей Карасёв
Европейский суперкомпьютер Discoverer получил обновление в виде NVIDIA DGX H200Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) объявило о модернизации суперкомпьютера Discoverer, установленного в Софийском технологическом парке в Болгарии. Обновленная НРС-система получила название Discoverer+. Комплекс Discoverer, построенный на платформе BullSequana XH2000, был введён в эксплуатацию в 2021 году. Изначальная конфигурация включала 1128 вычислительных узлов, каждый из которых содержит два 64-ядерных процессора AMD EPYC 7H12 поколения Rome. Производительность (FP64) достигала 4,52 Пфлопс с пиковым значением в 5,94 Пфлопс. С такими показателями система находится на 221-й позиции в ноябрьском рейтинге мощнейших суперкомпьютеров мира TOP500. В рамках модернизации добавлен GPU-раздел на основе четырёх модулей NVIDIA DGX H200. Каждый из них содержит восемь ускорителей H200 и два процессора Intel Xeon Platinum 8480C поколения Sapphire Rapids с 56 ядрами (до 3,8 ГГц). Модули обладают быстродействием до 32 Пфлопс каждый в режиме FP8. Кроме того, обновлённый комплекс получил Lustre-хранилище вместимостью 5,1 Пбайт, систему хранения Weka ёмкостью 273 Тбайт и дополнительную ИБП-систему. ![]() Источник изображения: EuroHPC JU Как отмечается, Discoverer стал первым суперкомпьютером EuroHPC, прошедшим серьёзную модернизацию с момента своего первоначального запуска. После наращивания мощностей комплекс планируется использовать для крупномасштабных проектов в области ИИ, таких как обучение нейронных сетей, создание цифровых двойников сложных объектов и пр. В декабре 2024 года консорциум EuroHPC выбрал площадки для первых европейских ИИ-фабрик (AI Factory): они расположатся в Финляндии, Германии, Греции, Италии, Люксембурге, Испании и Швеции. Кроме того, такие объекты планируется создать в Австрии, Болгарии, Франции, Германии, Польше и Словении. Эти площадки станут частью высококонкурентной и инновационной экосистемы ИИ в Европе.
04.04.2025 [23:59], Андрей Крупин
«Киберпротект» представил систему резервного копирования и восстановления данных для малого бизнеса«Киберпротект», российский разработчик программного обеспечения для резервного копирования и восстановления данных, сообщил о расширении продуктовой линейки и выпуске на рынок нового решения — «Кибер Бэкап Малый Бизнес». «Кибер Бэкап Малый Бизнес» позволяет защитить от потери информационные активы микробизнеса и индивидуальных предпринимателей и восстановить данные в случае возникновения инцидентов. Программный комплекс совместим с платформами Windows 10/11, Windows Home Server 2011, Windows Server 2019/20022/2025 в редакциях Standard и Datacenter, поддерживает работу с различными файловыми системами и устройствами для хранения резервных копий, а также интегрирован с защищённым облачным хранилищем «Кибер Облако». Поддерживаются различные методы резервного копирования (полное, дифференциальное, инкрементное), дедупликация, сжатие и проверка целостности данных, работа по заданному пользователем расписанию, создание исключений для файлов, защита копий паролем, рассылка уведомлений по электронной почте и прочие функции. Также доступно управление приоритетом операций резервного копирования и скоростью сетевого подключения. ![]() Новый продукт для защиты данных малого бизнеса доступен с подпиской на 1 год в версиях на 1, 3, 5 или 10 рабочих станций или серверов. Для хранения бэкапов можно приобрести ёмкость в облачном хранилище объёмом 0,5, 1, 3 или 5 Тбайт. Для оценки функциональных возможностей предлагается пробная версия «Кибер Бэкап Малый Бизнес» на 30 дней с поддержкой неограниченного количества устройств и 1 Тбайт облачного хранилища. Более подробнее с системой резервного копирования можно ознакомиться в обзоре продукта по этой ссылке. ![]() Источник изображения: «Киберпротект» / cyberprotect.ru По данным аналитического центра «Нафи», каждая вторая российская компания (53 %) сталкивается с проблемами в цифровой среде, а 19 % — с потерей данных из-за сбоев и человеческих ошибок. Наибольшую ценность в корпоративной среде SMB-сегмента представляют бухгалтерские и финансовые документы. Столь же значимы рабочие файлы проектов (презентации, таблицы и текстовые документы, которые часто служат основой для принятия решений и разработки новых продуктов). Немалое беспокойство вызывает потеря деловых переписок и коммуникаций с коллегами и партнёрами, включая электронные письма и сообщения в мессенджерах. Одним из наиболее эффективных способов защиты корпоративной информации остаётся резервное копирование данных.
04.04.2025 [16:39], Руслан Авдеев
Тайваньский производитель серверов Wistron инвестирует $50 млн в производство в США на фоне новых пошлинКонтрактный тайваньский производитель электроники Wistron намерен открыть дочернее предприятие в США и вложить в производство на территории страны до $50 млн. Деньги пойдут на покупку земли и заводов, вероятно — для дальнейшего выпуска в Соединённых Штатах ИИ-серверов, сообщает Nikkei Asian Review. По информации издания, этот шаг, вероятно, связан с новой тарифной политикой США, практически объявивших торговую войну всему миру введением новых, очень высоких торговых пошлин для большинства стран. В частности, для Тайваня были объявлены тарифы в размере 32 % — в тот же день, когда Wistron впервые упомянула о своих планах. Wistron является одним из ключевых контрактных производителей ИИ-серверов. Эти серверы поставляются клиентам, таким как американская NVIDIA, и другим игрокам ИИ-рынка. Ранее руководство Wistron уже заявляло о намерении развивать производство за пределами Тайваня, в том числе в США, сообщалось о строительстве площадки в Техасе. Конечно, в самом Тайване развитие производства тоже продолжится. ![]() Источник изображения: Tom Caillarec/unsplash.com В среду компания также объявила, что выпустит глобальные депозитарные расписки для покупки материалов за иностранную валюту. Судя по цене на момент закрытия торгов в понедельник, речь может идти о сумме, эквивалентной $760 млн. После смены администрации США многие тайваньские производители серверов, включая Compal и Inventec, заявили о намерении нарастить инвестиции в США, в частности — в Техасе. Так, Foxconn сообщила, что купит землю и построит собственный завод за $142 млн.
04.04.2025 [12:37], Руслан Авдеев
«Агрегатор ускорителей» Parasail анонсировал ИИ-гипероблакоСтартап Parasail привлёк $10 млн стартового капитала и выступил с необычным для рынка ИИ предложением. Компания стала своеобразным «агрегатором ускорителей», создав для инференса сеть, позволяющую свести вместе владельцев вычислительных мощностей и их клиентов с максимальной простотой, сообщает The Next Platform. Раунд финансирования возглавили Basis Set Ventures, Threshold Ventures, Buckley Ventures и Black Opal Ventures. Компанию основали Майк Генри (Mike Henry), ранее основавший производителя ИИ-решений Mythic и работавший одним из топ-менеджеров в Groq, и Тим Харрис (Tim Harris), генеральный директор Swift Navigation. Прежний опыт Майка Генри на рынке IT позволил заметить, что в последнее время ландшафт облачных сервисов стремительно меняется — если ранее на нём безраздельно доминировали гиперскейлеры вроде AWS, Microsoft Azure и Google Cloud, то с приходом ИИ они, казалось бы, сохраняют ведущие позиции, но на сцену выходят и новые облачные игроки, чья инфраструктура изначально рассчитана на ИИ-задачи, от обучения до инференса. В конце 2023 года бизнесмены основали компанию Parasail, которая совсем недавно заявила о себе, заодно собрав $10 млн финансирования. Фактически бизнес рассчитан на клиентов, которые заинтересованы в простом доступе к ИИ-технологиям — он будет связывать тех, кто располагает ими, и тех, кто в них нуждается. ![]() Источник изображения: Campaign Creators/unsplash.com Parasail намеревается использовать рост облачных ИИ-провайдеров вроде CoreWeave (недавно вышедшей на IPO) и Lambda Labs. Для этого создана сеть AI Deployment Network, объединяющая их вычислительные ресурсы в единую инфраструктуру, которая масштабнее, чем Oracle Cloud Infrastructure (OCI). Компания применяет собственный «движок» для оркестрации процессов в этом гипероблаке. Ключевым преимуществом является низкая стоимость услуг — утверждается, что компании, желающие отказаться от сервисов вроде OpenAI и Anthropic, могут рассчитывать на экономию в 15–30 раз, а в сравнении с клиентами провайдеров open source моделей — в 2–5 раз. На настройку уходит несколько часов, а инференс после этого можно начать за считанные минуты. Сегодня Parasail предлагает в облаке ресурсы NVIDIA H200, H100 и A100, а также видеокарт NVIDIA GeForce RTX 4090. Цены составляют от $0,65 до $3,25 за час использования. Parasail столкнулась с проблемой несовместимости инфраструктур: разные облачные платформы используют уникальные подходы к вычислениям, хранению данных, сетевому взаимодействию, а также имеют различия в настройке, биллинге и автоматизации. Хотя Kubernetes и контейнеризация могли бы частично решить эти проблемы, их реализация у разных провайдеров сильно отличается, а Kubernetes изначально не предназначается для работы с несколькими кластерами, регионами или провайдерами одновременно. Чтобы обойти ограничения, Parasail разработала собственную систему, которая объединяет ускорители из разных облаков в единую глобальную сеть. Их решение позволяет централизованно управлять распределёнными узлами, игнорируя различия в инфраструктуре провайдеров. Если один облачный провайдер выйдет из строя, система автоматически заменяет его ресурсы другими, минимизируя простои. Дополняя эту систему автоматизированным динамическим выделением ускорителей, Parasail создаёт масштабируемую и эффективную глобальную инфраструктуру, способную оперативно адаптироваться к нагрузкам и сбоям. Оркестрация и оптимизация рабочих нагрузок в ИИ-инфраструктуре усложняются из-за огромного разнообразия моделей, архитектур, типов GPU и ASIC, а также множества способов их комбинирования. Parasail решает эту проблему с помощью гибридного подхода, сочетающего математическое моделирование, ИИ-алгоритмы и участие живых специалистов, что позволяет эффективно масштабироваться даже с небольшой командой. ![]() Источник изображения: Campaign Creators/unsplash.com Закрытое бета-тестирование началось в январе, а позже спрос только вырос до той степени, что Parasail достигла семизначного ежегодного регулярного дохода (ARR). Теперь технология доступна всем, в числе клиентов — производитель чипов SambaNova, ИИ-платформа Oumi, ИИ-стартап Rasa и Elicit, позволяющий автоматизировать научные изыскания. В будущем стартап намерен быстро расширить штат из 12 работников, рассматриваются и варианты добавления в портфолио новых доступных ускорителей — сейчас там безусловно лидирует NVIDIA, но рынок вполне может измениться. В то же время отмечается парадоксальная ситуация, когда на рынке наблюдается и дефицит ускорителей, и простой мощностей в некоторых ЦОД одновременно. Предполагается, что дело в плохой оптимизации процессов на рынке ИИ. При этом в компании отмечают, что в данное время спрос на ИИ-приложения «почти бесконечен» и главная проблема — эффективно их использовать. Платформа Parasail для инференса максимально упрощает масштабное внедрение ИИ.
04.04.2025 [11:29], Руслан Авдеев
NVIDIA может переключиться на выполнение заказов только из Китая в преддверии усиления санкций СШАНе исключено, что NVIDIA может заставить подождать с выполнением заказов клиентов… всех, кроме представителей китайского бизнеса. Клиенты из Поднебесной, по слухам, заказали ускорители H20 на огромную сумму $16 млрд — до того, как США, возможно, запретит продавать их в КНР, сообщает The Information. По данным китайских инсайдеров, ByteDance, Alibaba Group, Tencent Holdings и др. заказали огромное количество H20 в первые три месяца текущего года. Имеются данные о том, что таких чипов уже не хватает в Китае, и NVIDIA может сфокусировать усилия на производстве большего количества H20 для удовлетворения спроса огромного рынка до того, как предложенный запрет вступит в действие. Может быть выполнено заказов минимум на $16 млрд — это приведёт к тому, что выпуск прочих чипов компании замедлится и приведёт к ещё большему дефициту передовых ускорителей на рынке. В результате американским и европейским клиентам придётся ждать выполнения своих заказов дольше обычного. ![]() Источник изображения: Glsun Mall/unsplash.com H20 является самым производительным ИИ-ускорителем, допущенным для поставок в Китай в соответствии с американскими экспортными ограничениями, введёнными в октябре 2023 года. Тем не менее, США могут вскоре и вовсе запретить поставки любых ускорителей. В то же время Пекин, по слухам, ужесточает контроль над продажами чипов иностранного производства — соответствующие правила уже действуют. Это предпринимается для того, чтобы китайские компании приобрели ускорители местного производства. В IDC уже заявляли, что китайские власти поддерживают и субсидируют местных производителей для выпуска чипов на архитектуре Arm. Впервые США ввели связанный с поставками в Китай чипов экспортный контроль в октябре 2022 года для замедления технологического развития Китая. В частности, были запрещены продажи передовых на тот момент ускорителей NVIDIA A100 и H100, специально ослабленные A800 и H800 запретили позже. После триумфального дебюта open source ИИ-моделей китайского стартапа DeepSeek в январе 2025 года спрос на H20 значительно вырос. И, хотя H20, по некоторым данным, в 15 раз «медленнее», чем новейшие модели серии NVIDIA Blackwell, только их ещё разрешено официально продавать в Китай после ограничений, введённых в октябре 2023 года. Ускорители применяются китайскими компаниями для обучения ИИ-моделей, хотя изначально чипы позиционировались как решения для инференса. Впрочем, как считают эксперты Moor Insights & Strategy, наращивание производства H20 не повлияет на поставки в США и Европе, поскольку для выпуска современных ускорителей Blackwell используется другой техпроцесс, т.е. другие производственные линии.
04.04.2025 [11:00], Сергей Карасёв
«Тантор Лабс» выступит генеральным партнером PG BootCamp Russia 2025 в ЕкатеринбургеКомпания «Тантор Лабс» (входит в «Группу Астра») станет генеральным партнёром конференции PG BootCamp Russia 2025, которая пройдёт 10 апреля 2025 года в городе Екатеринбурге. Мероприятие является частью глобальной инициативы PG BootCamp, имеет официальный статус международного сообщества PostgreSQL и традиционно ориентировано как на опытных, так и на начинающих специалистов, желающих углубить свои знания и получить практические навыки работы с СУБД PostgreSQL. В программе запланированы лекции и мастер-классы, посвящённые наиболее актуальным для профи темам: оптимизации выполнения запросов, восстановлению данных при сбоях, работе с временными рядами, эффективности администрирования БД, реализации ILM в PostgreSQL и др. Участвовать можно очно или онлайн, в обоих случаях это будет бесплатно. «Мы уже не в первый раз выступаем в качестве генерального партнёра PG BootCamp, и для нас большая честь быть в авангарде развития PostgreSQL в России и поддерживать это мероприятие в уникальном некоммерческом формате для русскоязычной аудитории. PostgreSQL — одна из самых популярных СУБД, её сообщество объединяет огромное число энтузиастов вокруг ценностей открытости и инноваций, и официальные комьюнити-мероприятия в нашей стране служат мощным катализатором развития и открывают новые горизонты в построении качественных и масштабируемых решений. Присоединяйтесь к нашей инициативе, черпайте новые знания и вносите свой вклад в развитие этой замечательной СУБД», — заявил Вадим Яценко, генеральный директор компании «Тантор Лабс».
04.04.2025 [10:26], Владимир Мироненко
Бенчмарк MLPerf Inference 5.0 показал, что ускорители AMD Instinct MI325X не уступают NVIDIA H200Консорциум MLCommons опубликовал результаты тестирования различных аппаратных решений в бенчмарке MLPerf Inference 5.0, о чём сообщил ресурс IEEE Spectrum. Он отметил, что ускорители NVIDIA с архитектурой Blackwell превзошли все остальные чипы, но последняя версия ускорителей Instinct от AMD — Instinct MI325X — оказалась на уровне конкурирующего решения NVIDIA H200. Сопоставимые результаты были получены в основном в тестах одной из маломасштабных больших языковых моделей (LLM) — Llama2 70B. Чтобы лучше отражать особенности развития ИИ, консорциум добавил три новых теста MLPerf — всего доступно 11 бенчмарков. Добавлены два теста для LLM. Популярная и относительно компактная Llama2 70B уже является устоявшимся эталоном MLPerf, но консорциум решил включить тест, имитирующий скорость реагирования, ожидаемую пользователями от чат-ботов. Поэтому был добавлен новый эталон Llama2-70B Interactive, который ужесточает требования к оборудованию: системы должны выдавать не менее 25 токенов в секунду при задержке на ответ не более 450 мс. С учётом роста популярности «агентного ИИ» в MLPerf решили добавить тестирование LLM с характеристиками, необходимыми для таких задач. В итоге была выбрана Llama3.1 405B. Эта модель имеет широкое контекстное окно — 128 тыс. токенов, что в 30 раз больше, чем у Llama2 70B. Третий новый бенчмарк — RGAT — представляет собой графовую сеть. Он классифицирует информацию в сети. Например, набор данных для тестирования RGAT состоит из научных статей, связанных между собой авторами, учреждениями и областями исследований, что составляет 2 Тбайт данных. RGAT должен классифицировать статьи по почти 3000 темам. В этом раунде тестов поступили заявки от NVIDIA и 15 компаний-партнёров, включая Dell, Google и Supermicro. Оба ускорителя NVIDIA с архитектурой Hopper первого и второго поколения — H100 и H200 — показали хорошие результаты. «Мы смогли добавить ещё 60 % производительности за последний год, — у Hopper, которая была запущена в производство в 2022 году, сообщил Дэйв Сальватор (Dave Salvator), один из директоров NVIDIA. — У неё всё ещё есть некоторый запас производительности». Лидером же оказался B200 с архитектурой Blackwell. B200 содержит на 36 % больше памяти HBM, чем у H200, но, что ещё важнее, он может выполнять ключевые математические операции, используя FP4 вместо FP8 у Hopper. В тесте Llama3.1 405B система от Supermicro с восемью B200 выдала почти в четыре раза больше токенов в секунду, чем система с восемью H200 от Cisco. И та же система Supermicro была в три раза быстрее самого быстрого сервера на H200 в интерактивной версии Llama2 70B. NVIDIA использовала суперчип GB200 — сочетание ускорителей Blackwell и процессоров Grace — чтобы продемонстрировать эффективность интерконнекта NVLink, который позволяет работать множеству узлов как один ускоритель. В непроверенном результате, которым компания поделилась с журналистами, стойка GB200 NVL72 выдавала 869 200 токенов в секунду в Llama2 70B. Самая быстрая система текущего раунда MLPerf Inference — сервер NVIDIA B200 — показала 98 443 токена в секунду. Ускоритель Instinct MI325X позиционируется AMD как конкурент H200. Он имеет ту же архитектуру, что и предшественник MI300, но оснащён увеличенным объёмом памяти HBM с более высокой пропускной способностью — 256 Гбайт и 6 Тбайт/с (рост на 33 % и 13 % соответственно). AMD оптимизировала ПО, что позволило увеличить скорость инференса DeepSeek-R1 в 8 раз. В тесте Llama2 70B компьютеры с восемью MI325X отставали от аналогичных систем на базе H200 всего на 3–7 %. В задачах генерации изображений система MI325X показала отличия в пределах 10 % от системы на H200. Также сообщается, что партнёр AMD, компания Mangoboost, продемонстрировала почти четырёхкратное увеличение производительности в тесте Llama2 70B, запустив вычисления на четырёх узлах. Intel традиционно использует в тестах только процессорные системы, чтобы показать, что для некоторых рабочих нагрузок GPU не требуются. В этот раз были представлены первые данные по чипам Intel Xeon 6900P и 6700P (Granite Rapids), выпускаемым по техпроцессу Intel 3. Компьютер с двумя Xeon 6 показал результат в 40 285 семплов в секунду в тесте распознавания изображений, что составляет около одной трети производительности системы Cisco с двумя NVIDIA H100. По сравнению с результатами Xeon 5 в октябре 2024 года новый процессор демонстрирует прирост в 80 % в данном тесте и ещё большее ускорение в задачах обнаружения объектов и медицинской визуализации. С 2021 года, когда Intel начала представлять результаты Xeon, её процессоры достигли 11-кратного прироста производительности в тесте ResNet. Intel отказалась от участия в категории ускорителей: её конкурент для H100 — Gaudi 3 — не появился ни в текущих результатах MLPerf, ни в версии 4.1, выпущенной в октябре 2024 года. Чип Google TPU v6e также продемонстрировал свои возможности, хотя результаты были ограничены задачей генерации изображений. При 5,48 запроса в секунду система с четырьмя TPU показала прирост в 2,5 раза по сравнению с аналогичным компьютером, использующим TPU v5e, в результатах за октябрь 2024 года. Тем не менее 5,48 запроса в секунду — это примерно те же показатели, что и у аналогичного по размеру компьютера Lenovo с NVIDIA H100. |
|