Компания NVIDIA представила «персональный ИИ-суперкомпьютер» Project DIGITS — это самая компактная аппаратная платформа на базе суперчипов Grace Blackwell. Разработанная для исследователей ИИ, специалистов по данным и студентов система поставляется с полным набором ПО для создания, тюнинга и инференса ИИ-моделей. Это позволяет локально создавать и дорабатывать модели, а затем разворачивать их в облаке или ЦОД. Project DIGITS будет доступен в мае по цене от $3000.

Project DIGITS оснащён чипом GB10 с FP4-производительностью до 1 Пфлопс, разработанным в партнёрстве с MediaTek. GB10 включает ускоритель Blackwell, подключённый посредством NVLink-C2C к 20-ядерному Arm-процессору Grace, 128 Гбайт унифицированной когерентной памяти LPDDR5x и 4-Тбайт NVMe SSD. В оснащение также входит адаптеры Wi-Fi, Bluetooth и Ethernet (RJ45). На задней стенке есть видеовыход HDMI и четыре разъёма USB-C.

По словам компании, Project DIGITS позволит запускать модели размером до 200 млрд параметров, а при объединении двух таких систем посредством NIC ConnectX (два порта SFP28) возможен запуск моделей с 405 млрд параметров.

Источник изображений: NVIDIA

Работает новинка под управлением NVIDIA DGX OS — специализированной сборки Ubuntu Linux, оптимизированной для работы с ИИ-нагрузками. Пользователи Project DIGITS получат доступ к обширной библиотеке ПО NVIDIA AI, включая комплекты для разработки ПО, инструменты оркестрации, фреймворки и модели, доступные в каталоге NVIDIA NGC и на портале NVIDIA Developer. Разработчики смогут настраивать модели с помощью фреймворка NVIDIA NeMo, использовать в работе с данными библиотеки NVIDIA RAPIDS и задействовать популярные программные платформы, включая PyTorch, Python и Jupyter notebooks.

Для создания агентских приложений AI можно будет использовать NVIDIA Blueprints и микросервисы NVIDIA NIM, доступные для исследований, разработки и тестирования в рамках программы NVIDIA Developer Program. Благодаря единой архитектуре Grace Blackwell предприятия и индивидуальные исследователи смогут прототипировать, настраивать и тестировать ИИ-модели на локальных системах Project DIGITS с последующим развёртыванием в NVIDIA DGX Cloud, облачных инстансах или собственной инфраструктуре ЦОД.

Около 50 крупнейших финансовых организаций России подтвердили намерение перейти на отечественное ПО до 1 января 2025 года, сообщили «Ведомости» со ссылкой на информацию Банка России, контролирующего процесс импортозамещения в поднадзорных ему организациях, обладающих значимыми объектами критической информационной инфраструктуры (объекты ЗКИИ).

Согласно указу президента, с 1 января 2025 года все объекты ЗКИИ должны работать только на отечественном ПО. ЦБ ещё в мае выпустил указания по этому поводу для банков и небанковских кредитных организаций, имеющих объекты ЗКИИ, к которым в этой сфере относятся автоматизированная банковская система, процессинговое ПО, технические решения для дистанционного банковского обслуживания физических и юридических лиц и т.д. «Все финансовые организации первой очереди подтвердили, что укладываются в эти сроки», — сообщил «Ведомостям» представитель ЦБ.

Сбербанк в сентябре заявил, что к концу 2024 года полностью завершит перевод своих автоматизированных систем в ЗКИИ с иностранных СУБД на собственное решение Platform V Pangolin. Президент ВТБ в конце декабря сообщил, что процесс полного импортозамещения ПО и оборудования будет завершён до конца 2024 года. Также уложится в сроки по импортозамещению требуемого ПО входящий в группу ВТБ «Почта банк». ПСБ также заявил изданию о готовности перейти до конца года на отечественные решения.

Источник изображения: yadro.com

Впрочем, как отмечают опрошенные «Ведомостями» эксперты, не всё так просто. Полного импортозамещения не достиг никто из крупных игроков, поскольку часть банковских систем разрабатывалась десятилетиями, а на их замену отводятся месяцы. Кроме того, отечественное ПО нередко работает в окружении зарубежных платформ. Сам по себе процесс импортозамещения дорогой и небыстрый, что связано с необходимостью обеспечения непрерывности работы всех бизнес-систем и сопряжено со значительными издержками в части обеспечения требований информационной безопасности, отметил представитель «Почта банка».

Крупные банки планируют довести долю импортозамещения до 85–90 % к 2027 году, для чего требуется стабильная экономическая среда и квалифицированные кадровые ресурсы, отмечает «К2Тех».

В начале февраля 2024 года ракета поразила судно Rubymar в Красном море. Повреждённое судно тонуло неделями, на 70 км протащив за собой якорь, разорвавший три интернет-кабеля, на которые приходилось четверть интернет-трафика между Европой и Азией. На ремонт кабелей ушли месяцы. Теперь в рамках проекта HEIST в НАТО начали тестировать систему перенаправления трафика через околоземное пространство, сообщает IEEE Spectrum.

На подводные волоконно-оптические линии связи приходится более 95 % межконтинентального интернет-трафика. Общая протяжённость 500-500 кабелей, проложенных по дну, составляет 1,2 млн км. По некоторым оценкам, ВОЛС обеспечивают финансовые транзакции более чем на $10 трлн ежедневно. Сами кабели находятся глубоко, они довольно тонкие и, по сути, не имеют никакой защиты на глубине. Если значительный ущерб может нанести повреждение одного или нескольких кабелей, то настоящая катастрофа для владельцев и пользователей может произойти, если атака произойдёт на государственном уровне.

Источник изображения: HEIST

Поэтому НАТО запустила пилотный проект HEIST (hybrid space-submarine architecture ensuring infosec of telecommunications). HEIST должен помочь в быстром определении точного местоположения повреждённого участка кабеля. Кроме того, проект направлен на создание «обходных путей» передачи данных в случае обрыва. В числе прочего предусматривается и передача информации через спутники на орбите.

В 2025 году планируется начать испытания на южном побережье Швеции — интеллектуальные системы, возможно, позволят определять места разрывов с точностью до метра. Кроме того, будут вестись работы над протоколами быстрого перенаправления данных на доступные спутники. Также эксперты будут разбираться в правилах использования подводных кабелей — пока нет единого органа, контролирующего их работу. В проекте приняли участие исследователи из Исландии, Швеции, Швейцарии, США и других стран.

Источник изображения: Submarine Cable Map

В TeleGeography напоминают, что безо всяких диверсий ежегодно происходит около 100 обрывов кабелей. Большинство из них устраняются специально оборудованными судами. На весьма дорогой ремонт может уйти от нескольких дней, недель или месяцев. В некоторых случаях речь может идти даже о годах. До сих пор у операторов связи и даже некоторых стран не было альтернатив на случай обрыва. Например, Исландию, на базе ЦОД которой работают многие финсервисы и выполняется много облачных вычислений, связывают с Европой и Северной Америкой всего четыре кабеля.

Спутники способны помочь в передаче данных, но главным ограничением является их малая пропускная способность, которая на порядки меньше, чем у оптоволокна — единицы Гбит/с против десятков или сотен Тбит/с. HEIST предполагает развитие спутниковой связи, в том числе с использованием лазеров для коммуникаций. Над похожими проектами работают NASA, Starlink и Amazon. В NASA уверены, что лазеры смогут ускорить передачу минимум в 40 раз.

Впрочем, это всё ещё далеко до пропускной способности кабелей, да и лазеры имеют ряд технических ограничений, мешающих повсеместному применению. Над повышением пропускной способности и сокращением времени задержки и будут работать в HEIST, хотя пока ни один из способов не является панацеей. Заявляется, что вся работа HEIST будет максимально публичной — люди смогут активно обсуждать и критиковать идеи, и способствовать его быстрому развитию.

Аналитическая компания SemiAnalysis опубликовала результаты исследования, длившегося пять месяцев и выявившего большие проблемы в ПО AMD для работы с ИИ, из-за чего на данном этапе невозможно в полной мере раскрыть имеющийся у ускорителей AMD Instinct MI300X потенциал. Проще говоря, из-за забагованности ПО AMD не может на равных соперничать с лидером рынка ИИ-чипов NVIDIA. При этом примерно три четверти сотрудников последней заняты именно разработкой софта.

Как сообщает SemiAnalysis, из-за обилия ошибок в ПО обучение ИИ-моделей с помощью ускорителей AMD практически невозможно без значительной отладки и существенных трудозатрат. Более того, масштабирование процесса обучения как в рамках одного узла, так и на несколько узлов показало ещё более существенное отставание решения AMD. И пока AMD занимается обеспечением базового качества и простоты использования ускорителей, NVIDIA всё дальше уходит в отрыв, добавляя новые функции, библиотеки и повышая производительность своих решений, отметили исследователи.

Источник изображений: SemiAnalysis

На бумаге чип AMD Instinct MI300X выглядит впечатляюще с FP16-производительностью 1307 Тфлопс и 192 Гбайт памяти HBM3 в сравнении с 989 Тфлопс и 80 Гбайт памяти у NVIDIA H100. К тому же чипы AMD предлагают более низкую общую стоимость владения (TCO) благодаря более низким ценам и использованию более дешёвого интерконнекта на базе Ethernet. Но проблемы с софтом сводят это преимущество на нет и не находят реализации на практике. При этом исследователи отметили, что в NVIDIA H200 объём памяти составляет 141 Гбайт, что означает сокращение разрыва с чипами AMD по этому параметру.

Кроме того, внутренняя шина xGMI лишь формально обеспечивает пропускную способность 448 Гбайт/с для связки из восьми ускорителей MI300X. Фактически же P2P-общение между парой ускорителей ограничено 64 Гбайт/с, тогда как для объединения H100 используется NVSwitch, что позволяет любому ускорителю общаться с другим ускорителем на скорости 450 Гбайт/с. А включённый по умолчанию механизм NVLink SHARP делает часть коллективных операций непосредственно внутри коммутатора, снижая объём передаваемых данных.

Как отметили в SemiAnalysis, сравнение спецификаций чипов двух компаний похоже на «сравнение камер, когда просто сверяют количество мегапикселей», и AMD просто «играет с числами», не обеспечивая достаточной производительности в реальных задачах. Чтобы получить пригодные для аналитики результаты тестов, специалистам SemiAnalysis пришлось работать напрямую с инженерами AMD над исправлением многочисленных ошибок, в то время как системы на базе NVIDIA работали сразу «из коробки», без необходимости в дополнительной многочасовой отладке и самостоятельной сборке ПО.

В качестве показательного примера SemiAnalysis рассказала о случае, когда Tensorwave, крупнейшему провайдеру облачных вычислений на базе ускорителей AMD, пришлось предоставить целой команде специалистов AMD из разных отделов доступ к оборудованию с её же ускорителями, чтобы те устранили проблемы с софтом. Обучение с использованием FP8 в принципе не было возможно без вмешательства инженеров AMD. Со стороны NVIDIA был выделен только один инженер, за помощью к которому фактически не пришлось обращаться.

У AMD есть лишь один выход — вложить значительные средства в разработку и тестирование ПО, считают в SemiAnalysis. Аналитики также предложили выделить тысячи чипов MI300X для автоматизированного тестирования, как это делает NVIDIA, и упростить подготовку окружения, одновременно внедряя лучшие настройки по умолчанию. Проблемы с ПО — основная причина, почему AMD не хотела показывать результаты бенчмарка MLPerf и не давала такой возможности другим.

В SemiAnalysis отметили, что AMD предстоит немало сделать, чтобы устранить выявленные проблемы. Без серьёзных улучшений своего ПО AMD рискует еще больше отстать от NVIDIA, готовящей к выпуску чипы Blackwell следующего поколения. Для финальных тестов Instinct использовался специально подготовленный инженерами AMD набор ПО, который станет доступен обычным пользователям лишь через один-два квартала. Речь не идёт о Microsoft или Meta✴, которые самостоятельно пишут ПО для Instinct. Один из автором исследования уже провёл встречу с главой AMD Лизой Су (Lisa Su), которая пообещала приложить все усилия для исправления ситуации.

Стриминговый гигант Netflix подал в понедельник иск к Broadcom в окружной суд США по Северному округу Калифорнии с обвинением принадлежащего ей дочернего предприятия VMware в нарушении пяти патентов, связанных с работой виртуальных машин («патент 424», «патент 707», «патент 891», «патент 893» и «патент 122»).

Как сообщает SiliconANGLE, три из этих патентов касаются использования CPU в виртуальных машинах, а два — запуска по крайней мере одной виртуальной машины с использованием балансировщика нагрузки. Согласно иску, нарушения патентов были допущены в VMware vSphere Foundation, VMware Cloud Foundation, VMware Cloud on AWS и облачных решениях, предлагаемых Microsoft, Google, Oracle, IBM и Alibaba.

В частности, в вышеуказанных продуктах, по словам Netflix, допущены нарушения «патента 424». Netflix заявил, что VMware умышленно нарушает авторские права с 2012 года, когда она узнала об этом патенте. «Патент 424 был процитирован экспертом Бюро по патентам и товарным знакам США при отклонении заявки VMware, которая в конечном итоге была оформлена как патент США № 8 650 564», — указал Netflix в иске.

Источник изображения: Broadcom

Учитывая осведомлённость VMware об этом патенте, Netflix утверждает, что Broadcom и VMware занимались «умышленным нарушением», и попросила суд обязать Broadcom возместить убытки, размер которых в иске не указан.

Патентная война Netflix и Broadcom началась в 2018 году, когда Broadcom подала в суд на Netflix, обвинив его в нарушении своих патентов на технологию потокового видео. Дела были возбуждены в Калифорнии, Германии и Нидерландах. Судебное разбирательство по иску Netflix запланировано на июнь 2025 года.

Российский разработчик аппаратных решений и систем виртуализации «Аэродиск» объявил о запуске серийного производства СХД на предприятии «Аквариуса» в Твери. Отмечается, что данное событие знаменует собой новый этап сотрудничества между двумя компаниями.

«Аэродиск» предлагает СХД разного уровня, построенные на платформе «Аквариуса». Это, в частности, решения среднего класса Engine AQ 440/450/460, а также устройства начального уровня Engine AQ Лайт с гибридной и All-Flash конфигурациями. Кроме того, доступны модели high-end на основе NVMe SSD. Летом 2023 года «Аквариус» приобрёл долю в размере 67,8 % в «Аэродиске»: тогда говорилось, что бренд и структура этой организации будут сохранены.

Ресурсы тверской площадки «Аквариуса» позволят «Аэродиску» на первом этапе выпускать до 500 СХД в год. Это в пять раз превышает возможности предыдущей производственной линии: ранее устройства изготавливались на мощностях «Аэродиска», которые позволяли достигать показателя в 100 СХД в год на пике. Этого, как отмечается, недостаточно для удовлетворения растущего спроса со стороны заказчиков в условиях активного импортозамещения.

Источник изображения: «Аэродиск»

В перспективе объём выпуска СХД на заводе в Твери планирует утроить, доведя его до 1500 единиц в год. На этом объекте готовится внедрение автоматизированной системы тестирования СХД, которая, помимо проверки качества оборудования, обеспечит автоматическую установку софта на системы с помощью централизованного сервера. Работа ведётся в рамках организации полного производственного цикла готовых программно-аппаратных комплексов (ПАК). Собственная площадка «Аэродиска» будет трансформирована в центр исследований и разработок для создания новых продуктов и подготовки их перевода в массовый выпуск.

«Мы всегда ориентируемся на долгосрочные цели. Новая площадка в Твери — важный шаг к технологическому развитию, полному циклу создания аппаратных платформ, а также ключевой элемент для дальнейшего масштабирования производства наших СХД. В дальнейшем в Твери будет запущена полноценная конвейерная линия для реализации всех этапов производства СХД», — отмечает глава компании «Аэродиск».

Компания OnLogic анонсировала компактный компьютер ML100G-42, ориентированный на коммерческое и промышленное применение. Устройство может использоваться на производствах, в системах индустриальной автоматизации, в секторе логистики и поставок продукции и пр.

В основу новинки положена аппаратная платформа AMD: задействован процессор Ryzen 7 8840U (8 ядер; 16 потоков; до 5,1 ГГц) с графическим контроллером AMD Radeon 780M (RDNA3) и NPU XDNA. Чип довольствуется пассивным охлаждением, а ребристая поверхность алюминиевого корпуса компьютера выполняет функции радиатора для отвода тепла. Объём оперативной памяти DDR5-5600 может достигать 96 Гбайт (2 × 48 Гбайт).

Источник изображения: OnLogic

Новинка способна нести на борту два SSD формата M.2 с интерфейсом PCIe 4.0 (NVMe) вместимость до 2 Тбайт каждый. При необходимости может быть добавлен ИИ-ускоритель Hailo в виде модуля М.2. Кроме того, предусмотрен дополнительный слот M.2 2230 E-key (PCIe x1 / USB 2.0) для адаптера Wi-Fi. В оснащение входят сетевые контроллеры 2.5 GbE и 1GbE.

Во фронтальной части расположены порт USB 3.2 Gen2 Type-A, два разъёма USB4 Type-C (с поддержкой DP1.4a), стандартное аудиогнездо на 3,5 мм. Сзади сосредоточены два интерфейса HDMI, два гнезда RJ-45 для сетевых кабелей, два порта USB 2.0 и DC-гнездо для подачи питания. Опционально могут быть добавлены два последовательных порта RS-232.

Габариты составляют 142 × 61,5 × 107 мм. Возможен монтаж на стену и DIN-рейку, а также установка при помощи крепления VESA. Диапазон рабочих температур — от 0 до +50 °C. Гарантирована совместимость с Red Hat Linux и Ubuntu. Цена начинается примерно с $1300.

В минувший вторник на Microsoft подали в суд в Великобритании с обвинением в несправедливом завышении цен для клиентов конкурирующих облачных компаний, сообщил ресурс CNBC. В иске утверждается, что клиенты платформ Amazon Web Services (AWS), Google Cloud Platform и Alibaba Cloud, являющихся основными конкурентами облака Microsoft Azure, вынуждены платить больше за лицензии на Windows Server в инфраструктуре конкурентов. В качестве компенсации пострадавшие британские фирмы требуют выплатить £1 млрд.

Microsoft предлагает фирмам, использующим Windows Server в Azure, более низкую цену, чем у прямых конкурентов на облачном рынке. В иске указано, что фирмы, пользующиеся серверным ПО Microsoft, фактически переплачивают за использование альтернативных облачных платформ. Утверждается, что Microsoft использует своё доминирующее положение на рынке облачных серверных ОС, устанавливая более высокие цены и побуждая клиентов переходить на Azure.

Представляющая интересы истцов Мария Луиза Стази (Maria Luisa Stasi), глава отдела права и политики группы по защите цифровых прав Article19, сообщила CNBC, что «Microsoft пытается заставить клиентов использовать свой сервис облачных вычислений Azure и ограничить конкуренцию в секторе», добавив, что иск «нацелен на то, чтобы оспорить антиконкурентное поведение Microsoft, заставить её раскрыть суммы незаконных переплат компаний в Великобритании и вернуть деньги организациям, с которых несправедливо взимают завышенную плату».

Источник изображения: Tadas Sar / Unsplash

Коллективный иск против Microsoft включает тысячи компаний и организаций. Иск подан по модели opt-out, согласно которой участники включаются в группу истцов без надобности в обязательном волеизъявлении, если только они сами не откажутся от участия в процессе. Это означает, что любая потенциально пострадавшая компания автоматически учитывается в иске и может получить компенсацию в случае проигрыша Microsoft. Представитель Стази сообщил CNBC, что она представляет интересы клиентов Amazon, Google и Alibaba, но не самих облачных платформ.

Ранее в этом году Microsoft заключила соглашение на €20 млн с поддерживаемой AWS группой лоббистов CISPE, что позволило ей избежать антимонопольного расследования ЕС по поводу обвинений в несправедливой практике лицензирования ПО в Azure. Вместе с тем в мировое соглашение не были включены Amazon Web Services (AWS), Google Cloud Platform и Alibaba Cloud. Вскоре после этого Google подала жалобу в Еврокомиссию на антиконкурентную практику лицензирования Microsoft.

В июне 2023 года Google направила в Федеральную торговую комиссию США (FTC) письмо с обвинением Microsoft в антиконкурентной практике, в связи с чем регулятор начал подготовку к антимонопольному расследованию. Основанная Google новая группа Open Cloud Coalition (OCC) намерена поддерживать открытость на облачном рынке, в частности, с помощью поддержки деятельности антимонопольных органов.

Microsoft, в свою очередь, утверждает, что за последние пару лет выручка Google и AWS только росла, что говорит о наличии конкуренции, а не об её отсутствии.

Американский стартап Cerebras Systems, специализирующийся на создании чипов для систем машинного обучения и других ресурсоёмких задач, объявил об установлении нового мирового рекорда производительности в области молекулярной динамики.

В эксперименте приняли участие Сандийские национальные лаборатории (SNL), Ливерморская национальная лаборатория имени Лоуренса (LLNL) и Лос-Аламосская национальная лаборатория (LANL) в составе Министерства энергетики США (DOE). Вычисления выполнялись на системе, оснащённой фирменными ускорителями Cerebras Wafer Scale Engine (WSE).

Говорится, что впервые в истории молекулярной динамики исследователи достигли результата более 1 млн шагов моделирования в секунду (timesteps per second, TPS). В частности, показано значение на уровне 1,1 млн TPS на платформе Cerebras CS-2, оборудованной чипами WSE-2, которые насчитывают 850 тыс. тензорных ядер и несут на борту 40 Гбайт памяти SRAM.

Для сравнения: в случае суперкомпьютера экзафлопсного класса Frontier, который в нынешнем рейтинге TOP500 занимает второе место, результат составляет 1470 TPS. Таким образом, система Cerebras обеспечивает 748-кратный выигрыш в быстродействии на задачах молекулярной динамики. При этом энергопотребление комплекса Cerebras составляет 27 кВт против 21 МВт у Frontier.

Источник изображения: Cerebras

Кроме того, комплекс Cerebras превзошел Anton 3 — самый мощный в мире специализированный суперкомпьютер для молекулярной динамики. Anton 3 использует 512 кастомных ASIC, а его энергопотребление находится на уровне 400 кВт. Показатель быстродействия Anton 3 достигает 980 тыс. TPS. То есть, система Cerebras показывает выигрыш примерно в 20 %.

Предполагается, что ускорители Cerebras предоставят качественно новые возможности для исследований в различных областях, включая разработку материалов следующего поколения, перспективных лекарственных препаратов и решений в сфере возобновляемой энергетики.

Нужно отметить, что ранее Сандийские национальные лаборатории запустили ИИ-систему Kingfisher на чипах Cerebras WSE-3. А сама компания Cerebras развернула «самую мощную в мире» ИИ-платформу для инференса.

Ускорители Blackwell компании NVIDIA опередили в бенчмарках MLPerf Training 4.1 чипы H100 более чем в 2,2 раза, сообщил The Register. По словам NVIDIA, более высокая пропускная способность памяти в Blackwell также сыграла свою роль. Тесты были проведены с использование собственного суперкомпьютера NVIDIA Nyx на базе DGX B200.

Новые ускорители имеют примерно в 2,27 раза более высокую пиковую производительность в вычисления FP8, FP16, BF16 и TF32, чем системы H100 последнего поколения. B200 показал в 2,2 раза более высокую производительность при тюнинге модели Llama 2 70B и в два раза большую производительность при предварительном обучении (Pre-training) модели GPT-3 175B. Для рекомендательных систем и генерации изображений прирост составил 64 % и 62 % соответственно.

Компания также отметила преимущества используемой в B200 памяти HBM3e, благодаря которой бенчмарк GPT-3 успешно отработал всего на 64 ускорителях Blackwell без ущерба для производительности каждого GPU, тогда как для достижения такого же результата понадобилось бы 256 ускорителей H100. Впрочем, про Hopper компания тоже не забывает — в новом раунде компания смогла масштабировать тест GPT-3 175B до 11 616 ускорителей H100.

Источник изображений: NVIDIA

Компания отметила, что платформа NVIDIA Blackwell обеспечивает значительный скачок производительности по сравнению с платформой Hopper, особенно при работе с LLM. В то же время чипы поколения Hopper по-прежнему остаются актуальными благодаря непрерывным оптимизациям ПО, порой кратно повышающим производительность в некоторых задач. Интрига в том, что в этот раз NVIDIA решила не показывать результаты GB200, хотя такие системы есть и у неё, и у партнёров.

В свою очередь, Google представила первые результаты тестирования 6-го поколения TPU под названием Trillium, о доступности которого было объявлено в прошлом месяце, и второй раунд результатов ускорителей 5-го поколения TPU v5p. Ранее Google тестировала только TPU v5e. По сравнению с последним вариантом, Trillium обеспечивает прирост производительности в 3,8 раза в задаче обучения GPT-3, отмечает IEEE Spectrum.

Если же сравнивать результаты с показателями NVIDIA, то всё выглядит не так оптимистично. Система из 6144 TPU v5p достигла контрольной точки обучения GPT-3 за 11,77 мин, отстав от системы с 11 616 H100, которая выполнила задачу примерно за 3,44 мин. При одинаковом же количестве ускорителей решения Google почти вдвое отстают от решений NVIDIA, а разница между v5p и v6e составляет менее 10 %.

Источник изображения: Google

В тесте Stable Diffusion система из 1024 TPU v5p заняла второе место, завершив работу за 2,44 мин, тогда как система того же размера на основе NVIDIA H100 справилась с задачей за 1,37 мин. В остальных тестах на кластерах меньшего масштаба разрыв остаётся примерно полуторакратным. Впрочем, Google упирает на масштабируемость и лучшее соотношение цены и производительности в сравнении как с решениями конкурентов, так и с собственными ускорителями прошлых поколений.

Также в новом раунде MLPerf появился единственный результат измерения энергопотребления во время проведения бенчмарка. Система из восьми серверов Dell XE9680, каждый из которых включал восемь ускорителей NVIDIA H100 и два процессора Intel Xeon Platinum 8480+ (Sapphire Rapids), в задаче тюнинга Llama2 70B потребила 16,38 мДж энергии, потратив на работу 5,05 мин. — средняя мощность составила 54,07 кВт.