Материалы по тегу: ии

18.11.2024 [10:55], Сергей Карасёв

Вышел одноплатный компьютер Orange Pi 4A с RISC-V и Arm-ядрами производительностью 2 TOPS

Команда Orange Pi, по сообщению ресурса CNX Software, выпустила одноплатный компьютер Orange Pi 4A, подходящий для работы с приложениями ИИ. Для новинки, которая уже доступна для заказа, заявлена возможность работы с Ubuntu, Debian и Android 13.

В основу устройства положен процессор Allwinner T527. Чип содержит восемь ядер Arm Cortex-A55 (четыре с частотой 1,8 ГГц и четыре с частотой 1,42 ГГц) и одно ядро XuanTie E906 с архитектурой RISC-V (200 МГц). Присутствуют графический ускоритель Arm Mali-G57 MC1 и блок VPU с возможностью декодирования материалов H.265 4Kp60, а также кодирования H.264 4Kp25. Кроме того, имеется нейропроцессорный узел (NPU) с производительностью до 2 TOPS для ускорения ИИ-операций.

 Источник изображения: Orange Pi

Источник изображения: Orange Pi

Одноплатный компьютер может нести на борту 2 или 4 Гбайт памяти LPDDR4/4X, флеш-модуль eMMC вместимостью от 16 до 128 Гбайт, SSD формата M.2 с интерфейсом PCIe 2.0 (NVMe). Есть слот для карты microSD, адаптеры Wi-Fi 5.0 и Bluetooth 5.0 LE (Ampak AP6256), сетевой контроллер 1GbE.

В число доступных разъёмов входят интерфейс HDMI 2.0 (4Kp60), четыре порта USB Type-A 2.0, гнездо RJ45 для сетевого кабеля, аудиогнездо на 3,5 мм, коннектор USB Type-C для подачи питания. Упомянуты 40-контактная колодка GPIO, совместимая с Raspberry Pi (GPIO, UART, I2C, SPI, PWM), интерфейсы MIPI-CSI на две и четыре линии, 4-контактная колодка с поддержкой USB 2.0, коннекторы MIPI-DSI (четыре линии), eDP 1.3 и ADC. Габариты составляют 89 × 56 мм, масса — 52 г.

Одноплатный компьютер Orange Pi 4A предлагается по цене $35 за модификацию с 2 Гбайт ОЗУ. За вариант с 4 Гбайт памяти придётся заплатить на $5 больше.

Постоянный URL: http://servernews.ru/1114151
17.11.2024 [11:37], Сергей Карасёв

«Систэм Электрик» представила модульные ИБП Excelente VS мощностью до 150 кВт

Российская компания «Систэм Электрик» (Systême Electric, ранее Schneider Electric в России) объявила о начале продаж локализованных модульных источников бесперебойного питания (ИБП) серии Excelente VS. Устройства, по заявлениям разработчика, предназначены для защиты критически важных нагрузок.

Напомним, ранее в семействе Excelente были доступны решения Excelente VM (50–300 кВА), Excelente VL (350–600 кВА) и Excelente VX (100–1200 кВА). Они обеспечивают до 96,6 % КПД в режиме двойного преобразования и до 99 % в режиме ECO.

В случае новых ИБП серии Excelente VS мощность со встроенными модульными батареями может варьироваться от 30 до 60 кВА/кВт, с внешними батареями — от 30 до 150 кВА/кВт. В первом случае заказчик получает такие преимущества, как снижение занимаемой площади, удобное обслуживание без необходимости выключения ИБП и сокращение времени обслуживания всей системы питания, говорит компания. Версии с внешними литий-ионными аккумуляторами предлагают длительный срок службы батареи, повышенную ёмкость и более высокую температурную устойчивость.

 Источник изображения: «Систэм Электрик»

Источник изображения: «Систэм Электрик»

Единичный коэффициент мощности по выходу (PF=1), как заявляет «Систэм Электрик», позволяет рассчитывать необходимый уровень защиты для текущей инфраструктуры без лишних затрат. Диапазон входных напряжений — от 135 до 485 В. Кроме того, говорится о высокой перегрузочной способности. Заявленный КПД достигает 96 % в режиме двойного преобразования (On-Line) и 99 % в режиме ECO.

Устройства базируются на модульной архитектуре с возможностью горячей замены. Допускается параллельная работа до шести ИБП одновременно. В оснащение входят информационный дисплей, коммуникационные интерфейсы (SNMP, RS485 и USB), кнопка EPO для аварийного отключения, а также пылевой фильтр с быстрым доступом (находится за фронтальной панелью).

Systeme Electric отмечает, что ИБП можно адаптировать для сложных проектов в средних и крупных дата-центрах, а также в сфере критически важной коммерческой и промышленной инфраструктуры. Устройства серии Excelente VS производится на площадке «Систэм Электрик» в особой экономической зоне «Технополис Москва».

Постоянный URL: http://servernews.ru/1114135
16.11.2024 [20:59], Сергей Карасёв

Стартап xAI Илона Маска получит от арабов $5 млрд на покупку ещё 100 тыс. ускорителей NVIDIA

Как сообщает CNBC, стартап xAI Илона Маска (Elon Musk) привлёк многомиллиардные инвестиции: деньги будут направлены на закупку ускорителей NVIDIA для расширения вычислительных мощностей ИИ-суперкомпьютера.

Напомним, в начале сентября нынешнего года компания xAI запустила ИИ-кластер Colossus со 100 тыс. ускорителей NVIDIA H100. В составе платформы применяются серверы Supermicro, узлы хранения типа All-Flash, адаптеры SuperNIC, а также СЖО. Суперкомпьютер располагается в огромном дата-центре в окрестностях Мемфиса (штат Теннесси).

Как теперь стало известно, в рамках нового раунда финансирования xAI привлечёт $6 млрд. Из них $5 млрд поступит от суверенных фондов Ближнего Востока, а ещё $1 млрд — от других инвесторов, имена которых не раскрываются. При этом рыночная стоимость стартапа достигнет $50 млрд. О том, что xAI получит дополнительные средства на развитие, также сообщает Financial Times. По данным этой газеты, речь идёт о $5 млрд при капитализации стартапа на уровне $45 млрд.

 Источник изображения: NVIDIA

Источник изображения: NVIDIA

Ранее Маск говорил о намерении удвоить производительность Colossus: для этого, в частности, планируется приобрести примерно 100 тыс. ИИ-ускорителей, включая 50 тыс. изделий NVIDIA H200. Судя по всему, привлеченные средства стартап также направит на покупку других решений NVIDIA, в том числе коммутаторов Spectrum-X SN5600 и сетевых карт на базе BlueField-3.

Между тем жители Мемфиса выражают недовольство в связи с развитием ИИ-комплекса xAI. Активисты, в частности, обвиняют стартап в том, что используемые на территории его дата-центра генераторы ухудшают качество воздуха в регионе.

Постоянный URL: http://servernews.ru/1114120
16.11.2024 [20:49], Сергей Карасёв

Сандийские национальные лаборатории запустили ИИ-систему Kingfisher на огромных чипах Cerebras WSE-3

Сандийские национальные лаборатории (SNL) Министерства энергетики США (DOE) в рамках партнёрства с компанией Cerebras Systems объявили о запуске кластера Kingfisher, который будет использоваться в качестве испытательной платформы при разработке ИИ-технологий для обеспечения национальной безопасности.

Основой Kingfisher служат узлы Cerebras CS-3, которые выполнены на фирменных ускорителях Wafer Scale Engine третьего поколения (WSE-3). Эти гигантские изделия содержат 4 трлн транзисторов, 900 тыс. ядер и 44 Гбайт памяти SRAM. Суммарная пропускная способность встроенной памяти достигает 21 Пбайт/с, внутреннего интерконнекта — 214 Пбит/с.

На сегодняшний день платформа Kingfisher объединяет четыре узла Cerebras CS-3, а конечная конфигурация предусматривает использование восьми таких блоков. Узлы Cerebras CS-3 мощностью 23 кВт каждый содержат СЖО, подсистемы питания, сетевой интерконнект Ethernet и другие компоненты.

 Источник изображения: SNL

Источник изображения: SNL

Развёртывание кластера Cerebras CS-3 является частью программы Advanced Simulation and Computing (ASC), которая реализуется Национальным управлением по ядерной безопасности США (NNSA). Речь идёт, в частности, об инициативе ASC Artificial Intelligence for Nuclear Deterrence (AI4ND) — искусственный интеллект для ядерного сдерживания.

Предполагается, что Kingfisher позволит разрабатывать крупномасштабные и надёжные модели ИИ с использованием защищённых внутренних ресурсов Tri-lab — группы, в которую входят Сандийские национальные лаборатории, Ливерморская национальная лаборатория имени Лоуренса (LLNL) и Лос-Аламосская национальная лаборатория (LANL) в составе (DOE).

Постоянный URL: http://servernews.ru/1114108
15.11.2024 [19:50], Руслан Авдеев

ИИ-серверы NVIDIA помогут в управлении АЭС в Калифорнии

Калифорнийский коммунальный оператор Pacific Gas and Electric Company (PG&E) намерен построить в Сан-Хосе кампус из трёх ЦОД с общей подведённой мощностью 200 МВт и внедрить ИИ-оборудование NVIDIA на площадке при АЭС Diablo Canyon, передаёт Datacenter Dynamics.

В рамках совместного проекта PG&E Corporation с застройщиком Westbank в Сан-Хосе появятся три дата-центра и более 4 тыс. единиц жилья. Локальная энергосистема свяжет дата-центры и близлежащие районы, благодаря чему можно будет использовать тепло дата-центров для отопления и подачи горячей воды в соседние здания, что позволит добиться нулевых углеродных выбросов.

Также PG&E объявила о NVIDIA развёртывании ИИ-оборудования NVIDIA и программных ИИ-решений Atomic Canyon на АЭС Diablo Canyon Power Plant. В NVIDIA уже заявили, что внедрение ИИ строго регулируемыми отраслями вроде атомной энергетики открывает новые возможности, а продукты Atomic Canyon будут способствовать росту операционной эффективности отрасли.

В частности, речь идёт о решении Neutron Enterprise на базе семейства ИИ-моделей FERMI компании Atomic Canyon, которые разработаны совместно с учёными Министерства энергетики США. Решение предназначено для ядерных объектов и в основном применяется для работы с документацией. Предполагается, что это обеспечит значительную экономию средств и повысит эффективность и безопасность работы АЭС. ИИ-продукты Atomic Canyon позволят быстрее получать и обрабатывать данные.

 Источник изображения: Andrii Ganzevych/unsplash.com

Источник изображения: Andrii Ganzevych/unsplash.com

Как отмечает Reuters, решение о внедрении ИИ — не просто дань моде. Станцию уже планировали закрыть, но отложили этот процесс в 2022 году из-за необходимости достижения планируемых показателей «безуглеродности» в штате. В Diablo Canyon насчитывается 9 тыс. различных процедур и 9 млн. документов, многие на микрофильмах. Для того, чтобы PG&E могла сохранить федеральную лицензию на эксплуатацию в течение ещё 20 лет, необходимо сформировать планы управления АЭС с учётом её старения.

Значительную часть информации предстоит получить из документов, подготовленных десятилетия назад. ИИ, обученный на таких документах, поможет найти в огромном массиве необходимые материалы, в том числе на микрофильмах, а в будущем сможет помочь в составлении расписаний обслуживания станции, принимающих в расчёт множество факторов. При этом весь ИИ-комплекс работает автономно и не имеет прямого выхода глобальную Сеть.

АЭС Diablo Canyon Power Plant была запущена в 1985 году. Совокупная мощность двух реакторов Westinghouse составляет порядка 2,25 ГВт. Это единственная оставшаяся в Калифорнии действующая атомная электростанция и она обеспечивает подачу почти 9 % электроэнергии штата, а также 17 % энергии с нулевым углеродным выбросом.

Постоянный URL: http://servernews.ru/1114049
15.11.2024 [10:33], Сергей Карасёв

«Росэлектроника» создаст суперкомпьютер нового поколения для РАН

Холдинг «Росэлектроника», входящий в госкорпорацию «Ростех», анонсировал проект нового НРС-комплекса, который будет создан для Объединённого института высоких температур Российской академии наук (ОИВТ РАН). Особенностью суперкомпьютера станет применение российского интерконнекта «Ангара».

Система разрабатывается в рамках соглашения, заключенного между НИЦЭВТ (входит в «Росэлектронику») и ОИВТ РАН. При проектировании машины планируется использовать опыт разработки и производства суперкомпьютеров НИЦЭВТ предыдущих поколений — «Ангара-К1», Desmos и Fisher.

Отмечается, что коммуникационная сеть «Ангара», созданная специалистами НИЦЭВТ, предназначена для построения мощных суперкомпьютеров, вычислительных кластеров для обработки больших данных и расчётов на основе сверхмасштабируемых параллельных алгоритмов. Помимо «Ангары», в составе проектируемого HPC-комплекса будут задействованы технологии погружного охлаждения.

На сегодняшний день участники проекта прорабатывают технические характеристики создаваемого суперкомпьютера — количество узлов, объём памяти, архитектуру процессоров и число ядер. Особое внимание будет уделяться максимально возможному использованию отечественной элементной базы. Целевые показатели производительности системы не раскрываются, но говорится, по величине пикового быстродействия она превзойдёт предшественников.

 Источник изображения: unsplash.com / Scott Rodgerson

Источник изображения: unsplash.com / Scott Rodgerson

Суперкомпьютер планируется применять для проведения научно-исследовательских, опытно-конструкторских и технологических работ на базе образовательных учреждений и промышленных предприятий РФ.

«Стратегическое партнёрство с НИЦЭВТ позволит нам совместно создать высокопроизводительную вычислительную систему и расширить наши возможности в исследовании сложных процессов в энергетике и теплофизике. ОИВТ РАН обладает большим опытом использования передовых вычислительных методов, включая методы первопринципного моделирования и молекулярной динамики для научных исследований. Увеличение мощности вычислительных ресурсов позволит значительно повысить точность, темп и эффективность наших исследований», — отметил директор ОИВТ РАН.

Постоянный URL: http://servernews.ru/1114048
15.11.2024 [10:31], Сергей Карасёв

Eviden представила интерконнект BullSequana eXascale третьего поколения для ИИ-систем

Компания Eviden (дочерняя структура Atos) анонсировала BullSequana eXascale Interconnect (BXI v3) — интерконнект третьего поколения, специально разработанный для рабочих нагрузок ИИ и HPC. Технология станет доступа на рынке во II половине 2025 года.

Отмечается, что существующие высокоскоростные сетевые решения недостаточно эффективны, поскольку не устраняют критическое узкое место, известное как «сетевая стена». По заявлениям Eviden, зачастую при крупномасштабном обучении ИИ компании наращивают количество ускорителей, однако на самом деле ограничивающим фактором является интерконнект. Хотя поставщики сетевых решений продолжают удваивать пропускную способность каждые несколько лет, этого недостаточно для решения проблемы. В результате, до 70 % времени GPU простаивают, ожидая получения данных из-за задержек, утверждает Eviden. Технология BXI v3 призвана устранить этот недостаток.

 Источник изображений: Eviden

Источник изображений: Eviden

Новый интерконнект использует стандарт Ethernet в качестве базового протокола связи. При этом реализованы функции, которые обычно характерны для масштабируемых сетей высокого класса, таких как Infiniband. Отмечается, что BXI v3 обеспечивает низкие задержки (менее 200 нс от порта к порту), высокую пропускную способность, упорядоченную (in order) доставку пакетов, расширенное управление перегрузками и масштабируемость.

Технология BXI v3 ляжет в основу интеллектуального сетевого адаптера (Smart NIC) нового поколения, который поможет снизить влияние задержек сети на GPU и CPU. При использовании такого решения ускоритель ИИ выгружает данные на сетевой адаптер и сразу же переходит к другим задачам, что устраняет неэффективность, связанную с простоями. Подчёркивается, что протокол BXI v3 интегрируется непосредственно в Smart NIC, благодаря чему оборудование работает сразу после установки, а в приложения не требуется вносить какие-либо изменения.

Кроме того, новая технология предоставляет ряд дополнительных функций, ориентированных на повышение производительности путём оптимизации системных операций и обработки данных. В частности, BXI v3 обеспечивает прозрачную трансляцию виртуальных адресов в физические, что позволяет приложениям напрямую отправлять запросы в SmartNIC с использованием виртуальных адресов без необходимости системных вызовов. Такой подход повышает эффективность, обеспечивая бесперебойное управление памятью при сохранении высокой производительности.

Технология BXI v3 также позволяет регистрировать до 32 млн приёмных буферов, которые SmartNIC выбирает с помощью ключей сопоставления на основе атрибутов сообщения. Благодаря этому уменьшается нагрузка на CPU, что повышает общую эффективность системы. Кроме того, сетевой адаптер способен выполнять математические атомарные операции, что дополнительно высвобождает ресурсы CPU. Впрочем, деталей пока мало, зато говорится об участии в консорциуме Ultra Ethernet (UEC) и партнёрстве с AMD.

Постоянный URL: http://servernews.ru/1114044
15.11.2024 [10:10], Владимир Мироненко

ИСП РАН покажет результаты 30-ти лет работы на Открытой конференции в Москве

11–12 декабря в Москве состоится Открытая конференция ИСП РАН — ведущее научно-практическое мероприятие в области системного программирования в России. В этом году конференция посвящена 30-летию института и 300-летию Российской академии наук. Вместе с ними в числе организаторов — Академия криптографии РФ, Национальный технологический центр цифровой криптографии, Фонд перспективных исследований, а также международные ассоциации IEEE и IEEE Computer Society.

«За 30 лет наша модель работы, объединяющая образование, исследования и инновации, доказала свою устойчивость и способность обеспечивать долгосрочное развитие. Мы начинали с R&D-контрактов с международными компаниями. Сейчас все технологии, которые мы создаём, принадлежат нам или передаются в open source проекты, — рассказал директор ИСП РАН, академик РАН Арутюн Аветисян. — Институт стал распределённым центром компетенций, который собирает вокруг себя самые разные сообщества — от специалистов по анализу ядра Linux до разработчиков ERP-систем. Мы объединяем 800 сотрудников и 200 студентов. Более 200 компаний используют наши инструменты. Мы одновременно обеспечиваем технологическую независимость внутри страны и сохраняем открытость, работая над проектами с открытым кодом вместе с международным сообществом разработчиков. Эту идею открытости, особенно важную в эти дни, подчеркивает и наша конференция, которая в этом году объединит больше тысячи участников, а также десятки компаний и вузов».

 Источник изображений: ИСП РАН им. В.П. Иванникова

Источник изображений: ИСП РАН им. В.П. Иванникова

В этом году Открытая конференция ИСП РАН пройдёт на новой площадке — в инновационном кластере «Ломоносов», и начнётся с пленарной сессии с участием представителей академического сообщества, ведущих ИТ-компаний, отраслевых ассоциаций и государственных министерств и ведомств. Далее запланированы круглые столы по разработке безопасного программного обеспечения. Состоится воркшоп «Системы доверенного искусственного интеллекта», в котором примут участие представители Исследовательского центра доверенного искусственного интеллекта (ИЦДИИ) ИСП РАН, а также его индустриальных партнёров («Лаборатория Касперского», «ЕС-Лизинг», «Технопром», «Интерпроком») и других исследовательских центров.

Запланированы также традиционные секции рецензируемых научных докладов по анализу, моделированию и трансформации программ, управлению данными и информационным системам, САПР микроэлектронной аппаратуры, решению задач механики сплошных сред с использованием СПО, лингвистическим системам анализа. Круглый стол «Цифровая медицина» объединит представителей ведущих медицинских центров России — Сеченовского университета, НИИ глазных болезней им. М.М. Краснова и других. Уже во второй раз пройдёт секция «Российский Open Source: разработка библиотек в сфере ИИ», организованная совместно с Фондом содействия инновациям.

Ряд мероприятий состоится впервые: это секция «Системы управления базами данных» с участием разработчиков VK Tarantool, Yandex YDB и других платформ, круглый стол «Цифровое будущее государственного сектора: суверенитет, экономика, технологии» (совместно с РАНХиГС), а также круглый стол «Образование в системном программировании: состояние и перспективы» — с участием представителей ИСП РАН, МФТИ, НовГУ, МИРЭА, МИФИ, МГТУ им. Н.Э. Баумана и других организаций. Оба дня конференции будет проходить выставка технологий ИСП РАН (в том числе в области искусственного интеллекта), а также ведущих компаний и вузов – партнёров института.

Регистрация на очное участие заканчивается до 6 декабря 2024 г. Конференция пройдёт в гибридном формате, запланирована онлайн-трансляция каждой секции. Ссылка на трансляцию будет отправлена каждому участнику на адрес электронной почты, указанный при регистрации.

Участие в конференции бесплатное, необходимо зарегистрироваться на сайте: https://www.isprasopen.ru/#Registration. Все подробности можно найти на сайте мероприятия: https://www.isprasopen.ru. По вопросам аккредитации просьба обращаться к Анне Новомлинской, annanovoml@gmail.com.

Место проведения: МГУ им М.В. Ломоносова. Адрес: Москва, Раменский бульвар, д. 1. Кластер «Ломоносов».

Постоянный URL: http://servernews.ru/1113969
15.11.2024 [00:25], Владимир Мироненко

Оковы окон: российские госкомпании продолжают закупать продукты Microsoft

Российские госкомпании продолжали закупать в 2024 году ПО покинувшей рынок Microsoft, хотя и в меньших объёмах, пишет «Коммерсантъ». Согласно данным сервиса «Контур.Закупки», на приобретение продуктов Microsoft, включая закупки в малых объёмах, за 10 месяцев 2024 года госорганами (по 223-ФЗ и 44-ФЗ) было потрачено 24,1 млн руб., тогда как в 2023 году на эти цели израсходовали 52,5 млн руб.

Закупки ОС Windows госкомпаниями и госкорпорациями (по 223-ФЗ) за этот период составили 7 млн руб., что на 69 % меньше год к году, пакетов Office — 3 млн руб. (на 75 % меньше). В «Контур.Закупках» отметили, что госкомпании не готовы полностью отказаться от продукции Microsoft, поскольку некоторые программы не импортозамещены. Поэтому они закупают «остатки» Microsoft Office и Microsoft 365 версий 2019 и 2021. Количество таких закупок малого объёма увеличилось год к году почти в два раза, хотя сумма сократилась с 3,2 млн до 2,4 млн руб.

В свою очередь, электронная торговая площадка «Росэлторг» подсчитала, что по 223-ФЗ закупки ОС Windows сократились на 21 % в денежном выражении, до 35,5 млн руб., а количество тендеров уменьшилось на 5 %, до 55 единиц. По 44-ФЗ закупки уменьшились на 14 % до 22,7 млн руб. и на 12 % сократилось количество тендеров — до 99 единиц, передаёт «Коммерсантъ».

 Источник изображения: Surface / Unsplash

Источник изображения: Surface / Unsplash

Опрошенные «Коммерсантом» эксперты и представители отрасли предполагают, что Microsoft может не желать целиком терять рынок в РФ и снижает цены. Кроме того, даже в реестре отечественного ПО есть продукты, совместимые только Windows. В некоторых случаях на создание российских аналогов иностранных решений может уйти более 10 лет. Ещё один фактор — необходимость инвестиций, в том числе денежных, в переобучение сотрудников и развитие ПО.

Постоянный URL: http://servernews.ru/1114035
14.11.2024 [23:07], Владимир Мироненко

Google и NVIDIA показали первые результаты TPU v6 и B200 в ИИ-бенчмарке MLPerf Training

Ускорители Blackwell компании NVIDIA опередили в бенчмарках MLPerf Training 4.1 чипы H100 более чем в 2,2 раза, сообщил The Register. По словам NVIDIA, более высокая пропускная способность памяти в Blackwell также сыграла свою роль. Тесты были проведены с использование собственного суперкомпьютера NVIDIA Nyx на базе DGX B200.

Новые ускорители имеют примерно в 2,27 раза более высокую пиковую производительность в вычисления FP8, FP16, BF16 и TF32, чем системы H100 последнего поколения. B200 показал в 2,2 раза более высокую производительность при тюнинге модели Llama 2 70B и в два раза большую производительность при предварительном обучении (Pre-training) модели GPT-3 175B. Для рекомендательных систем и генерации изображений прирост составил 64 % и 62 % соответственно.

Компания также отметила преимущества используемой в B200 памяти HBM3e, благодаря которой бенчмарк GPT-3 успешно отработал всего на 64 ускорителях Blackwell без ущерба для производительности каждого GPU, тогда как для достижения такого же результата понадобилось бы 256 ускорителей H100. Впрочем, про Hopper компания тоже не забывает — в новом раунде компания смогла масштабировать тест GPT-3 175B до 11 616 ускорителей H100.

 Источник изображений: NVIDIA

Источник изображений: NVIDIA

Компания отметила, что платформа NVIDIA Blackwell обеспечивает значительный скачок производительности по сравнению с платформой Hopper, особенно при работе с LLM. В то же время чипы поколения Hopper по-прежнему остаются актуальными благодаря непрерывным оптимизациям ПО, порой кратно повышающим производительность в некоторых задач. Интрига в том, что в этот раз NVIDIA решила не показывать результаты GB200, хотя такие системы есть и у неё, и у партнёров.

 Источник изображений: NVIDIA

В свою очередь, Google представила первые результаты тестирования 6-го поколения TPU под названием Trillium, о доступности которого было объявлено в прошлом месяце, и второй раунд результатов ускорителей 5-го поколения TPU v5p. Ранее Google тестировала только TPU v5e. По сравнению с последним вариантом, Trillium обеспечивает прирост производительности в 3,8 раза в задаче обучения GPT-3, отмечает IEEE Spectrum.

Если же сравнивать результаты с показателями NVIDIA, то всё выглядит не так оптимистично. Система из 6144 TPU v5p достигла контрольной точки обучения GPT-3 за 11,77 мин, отстав от системы с 11 616 H100, которая выполнила задачу примерно за 3,44 мин. При одинаковом же количестве ускорителей решения Google почти вдвое отстают от решений NVIDIA, а разница между v5p и v6e составляет менее 10 %.

 Источник изображения: Google

Источник изображения: Google

В тесте Stable Diffusion система из 1024 TPU v5p заняла второе место, завершив работу за 2,44 мин, тогда как система того же размера на основе NVIDIA H100 справилась с задачей за 1,37 мин. В остальных тестах на кластерах меньшего масштаба разрыв остаётся примерно полуторакратным. Впрочем, Google упирает на масштабируемость и лучшее соотношение цены и производительности в сравнении как с решениями конкурентов, так и с собственными ускорителями прошлых поколений.

Также в новом раунде MLPerf появился единственный результат измерения энергопотребления во время проведения бенчмарка. Система из восьми серверов Dell XE9680, каждый из которых включал восемь ускорителей NVIDIA H100 и два процессора Intel Xeon Platinum 8480+ (Sapphire Rapids), в задаче тюнинга Llama2 70B потребила 16,38 мДж энергии, потратив на работу 5,05 мин. — средняя мощность составила 54,07 кВт.

Постоянный URL: http://servernews.ru/1114029
Система Orphus