Вычислительные платформы NVIDIA снова продемонстрировали высокую производительность, на этот раз в свежих тестах MLPerf Training v4.0. Так, суперкомпьютер NVIDIA EOS-DFW более чем утроил свою производительность в LLM-тесте на базе GPT-3 175B по сравнению с прошлогодним результатом.

Как сообщается, 11 616 ускорителей NVIDIA H100, объединённых 400G-интерконнектом NVIDIA Quantum-2 InfiniBand, позволили суперкомпьютеру EOS достичь столь значительного результата благодаря более масштабному и комплексному подходу к проектированию системы. А это позволяет более эффективно обучать и запускать крупные модели, экономя время и ресурсы, говорит компания. А более современный ускоритель H200 с улучшенной подсистемой памяти в MLPerf Training быстрее H100 на 14 %, а в GNN-тестах (RGAT) узлы с H200 оказались быстрее узлов с H100 сразу на 47 %.

Источник изображений: NVIDIA

По словам компании, поставщики услуг LLM могут всего за четыре года, инвестировав $1, получить $7, используя модель Llama 3 70B на серверах на базе NVIDIA HGX H200, если исходить из того, что обслуживание обходится в $0,60 за миллион токенов, а пропускная способность HGX H200 составляет 24 тыс. токенов в секунду.

Росту производительности также способствовало совершенствование и оптимизация ПО. Так, кластер из 512 чипов H100 за год стал на 27 % быстрее, а рост производительности с увеличением количества ускорителей теперь более линеен. В новом тесте MLPerf Training по тюнингу LLM (LoRA применительно к Meta✴ Llama 2 70B) системы NVIDIA показали эффективное масштабирование при количестве ускорителей от 8 до 1024. NVIDIA также увеличила производительность обучения Stable Diffusion v2 почти на 80 % при тех же масштабах систем, что были представлены в прошлом тестировании.

NVIDIA отметила, что для компаний, запускающих приложения на базе LLM, высокая производительность имеет большое значение. Возможность обучать и настраивать более мощные модели — и быстрее их развёртывать и запускать — позволит получить лучшие результаты и более высокий доход. А с выходом платформы NVIDIA Blackwell скоро появится возможность как обучения, так и инференса моделей генеративного ИИ с триллионом параметров.

Компания «Аэродиск» анонсировала СХД «Engine AQ Лайт» начального уровня. Решение, как утверждается, может применяться в качестве основного устройства хранения в небольших организациях и удалённых офисах, а также в качестве дополнительной системы в центральной инфраструктуре средних и крупных предприятий.

Новинка, как и модель «Engine AQ», выполнена на аппаратной платформе «Аквариуса». При этом устройство не поддерживает такую функциональность, как удалённая репликация и метрокластер. Архитектура обеспечивает дублирование всех компонентов СХД, что позволяет организовать доступность данных на уровне 99,999 %, говорит разработчик.

Конфигурация включает два контроллера, которые работают в режиме «активный — активный». Каждый из контроллеров оснащён двумя процессорами Intel Xeon (8C/16T), а суммарный объём оперативной памяти на систему составляет 128 Гбайт. Присутствуют четыре порта 10/25GbE; опционально можно добавить четыре порта FC16. Устройство выполнено в форм-факторе 4U с габаритами 705 × 448 × 176 мм. Задействованы два блока питания мощностью до 1600 Вт с сертификатом 80 PLUS Platinum.

Источник изображения: «Аквариус»

Для «Engine AQ Лайт» доступны гибридная модификация и версия All-Flash. В первом случае в стандартной комплектации могут быть установлены три SSD вместимостью 800 Гбайт каждый и 11 HDD типа NL SAS ёмкостью 8 или 18 Тбайт. Поддерживаются массивы RAID 0/1/10/5/50/6/60/6P/60P. Вариант All-Flash в базовом оснащении предполагает применение 12 SSD на 1,92 или 3,84 Тбайт. Максимальное количество поддерживаемых накопителей составляет 24.

Заявлена поддержка протоколов iSCSI/NFS/SMB, Thin Provisioning, Compression, Snap/Clone, Local Replication, Autosupport. Управление СХД унифицировано со старшими моделями.

Сейчас во многих странах Азии, Ближнего Востока, Европы и в США наблюдается всплеск интереса к внедрению ИИ, что вызвало резкий рост расходов на вычислительные мощности, пишет The Wall Street Journal. Правительства стран увеличивают бюджеты и используют различные рычаги для стимулирования локальных компаний и транснациональных корпораций к строительству новых ЦОД и модернизации существующих с целью развития собственных ИИ-технологий и обучения больших языковых моделей (LLM) на языках и данных граждан своей страны.

Этот тренд ресурс WSJ объясняет стремлением стран к большей стратегической самостоятельности на фоне растущей напряжённости между США и Китаем, сосредоточенной на технологиях, а также намерением защитить национальную культуру и национальную безопасность в связи с бурным развитием ИИ-технологий.

В прошлом месяце NVIDIA сообщила, что так называемые инициативы в области суверенного ИИ, как ожидается, принесут её в этом году почти $10 млрд, тогда как в прошлом году это направление не было для неё доходным. Из $26 млрд выручки NVIDIA за прошлый квартал почти половина поступила от крупных компаний, занимающихся облачными вычислениями, которые арендуют доступ к её чипам.

Новое направление сулит выгоду NVIDIA и другим американским технологическим компаниями, занятым в сфере строительства и эксплуатации ЦОД, и ищущим новые источники роста, поскольку спрос частного сектора на ИИ-технологии может снизиться.

Источник изображения: NVIDIA

Глава NVIDIA Дженсен Хуанг (Jensen Huang, на фото выше) в последние месяцы провёл немало встреч с правительственными чиновниками разных стран, чтобы убедить их в необходимости инвестиций в ИИ со стороны государства. В сентябре прошлого года он встречался с премьер-министром Индии Нарендрой Моди, в декабре — с премьер-министрами Японии и Сингапура. В этом году он провёл встречи с официальными лицами ОАЭ и Канады. и побывал на Тайване.

Среди крупнейших спонсоров суверенного ИИ — Сингапур, чей национальный суперкомпьютерный центр оснащается новейшими чипами NVIDIA, а государственная телекоммуникационная компания Singtel в сотрудничестве с NVIDIA занята расширением своего парка ЦОД в Юго-Восточной Азии. Страна также стала инициатором создания LLM для языков Юго-Восточной Азии.

В свою очередь, Канада планирует выделить $1,5 млрд в рамках суверенной вычислительной стратегии для стартапов и исследователей, а в Японии после визита Хуанга объявили о планах инвестировать в этом году около $740 млн в наращивание вычислительной мощности для разработки ИИ для нужд страны.

Аналогичные инициативы нашли поддержку Европе. Например, во Франции и Италии телекоммуникационные компании создают ИИ-суперкомпьютеры с чипами NVIDIA для разработки LLM с поддержкой национальных языков. Кения в прошлом месяце подписала с Microsoft и поддерживаемой ОАЭ компанией G42, занимающейся ИИ, соглашение о строительстве в стране ЦОД стоимостью $1 млрд на геотермальной энергии с целью обучения ИИ-модели непосредственно на суахили и английском языке.

Источник изображения: NVIDIA

«Правительствам теперь нужны суверенные облака для инфраструктуры ИИ и конфиденциальных данных, а американские технологические компании стремятся помочь в их создании», — говорит Ну Векслер (Nu Wexler), бывший сотрудник по связям с общественностью в Google, Meta✴ и Twitter (нынешней X).

Китай также стремится занять позиции на рынке суверенного ИИ. Он предлагает строительство ЦОД и возможности ИИ африканским странам, включая Египет. Но китайские ИИ-чипы пока уступают по производительности ускорителям NVIDIA и других американских компаний, что часто делает США предпочтительным поставщиком, несмотря на экспортные ограничения, отметил WSJ.

По мнению аналитиков, тренд на развитие суверенного ИИ может стать для NVIDIA спасительным кругом, когда наступит сокращение закупок ИИ-чипов со стороны основной группы клиентов технологических компаний, таких как Microsoft, Amazon и Google.

В ходе конференции Worldwide Developer Conference (WWDC), состоявшейся в понедельник, компания Apple упомянула о том, что её серверы на собственных чипах и ОС используются для новых ИИ-сервисов Apple Intelligence. Как отмечает The Register, прямо компания не говорила ни о CPU, ни об ОС и никогда не подтверждала слухи об ИИ-серверах собственной разработки, но отсылки ко всем этим компонентам оказались разбросаны по презентациям на WWDC.

Новые функции завязаны на Apple Private Cloud Compute — серверную экосистему, где IT-гигант применяет большие ИИ-модели, которые справляются с некоторыми задачами намного лучше, чем компактные модели на пользовательских устройствах. В компании отмечают, что Private Cloud Compute использует мощные и безопасные кастомные серверы в своих ЦОД. Также упоминается термин «вычислительный узел», но нет точных данных о том, является ли он синонимом слова «сервер».

Источник изображения: Apple

Подчёркивается, что облачные мощности используют те же аппаратные технологии обеспечения безопасности, что и, например, iPhone, включая Secure Enclave и Secure Boot. Машины используют новую защищённую ОС на базе iOS и macOS, где отсутствуют некоторые административные компоненты. К минимуму свели даже телеметрию, обычно критически важную для поддержания работы облака. Другими словами, доступ к данным получит только пользователь, доступа не будет даже у системных администраторов.

Если в ряде случаев возможностей смартфона или планшета будет не хватать для конкретной ИИ-задачи, Apple будет определять, какой необходимый минимум данных нужен для решения задачи и отправлять их в зашифрованным виде в облаке. В облаке для каждой такой задачи будет создавать зашифрованный же анклав, который после обработки данных и отправки результата пользователю (тоже с шифрованием) будет полностью удалён. Другими словами, исходные фото, видео и другой контент никогда не будут покидать устройства пользователя, а их отслеживание и расшифровка весьма проблематичны.

Уже сейчас в своих облаках Arm-чипы AWS, Google, Oracle и Microsoft. По соотношению цена/производительность они нередко лучше, чем чипы Intel или AMD, во всяком случае при решении некоторых задач, в том числе инференса, поэтому вполне логично, если к таким же решениям прибегнет и Apple.

Французская IT-компания Atos, находящаяся в сложном финансовом положении, объявила во вторник о решении выбрать план выхода из кризиса, предложенный консорциумом во главе с ИТ-консалтинговой компанией Onepoint, основанной французским инвестором Давида Лаяни (David Layani). Акции Atos упали на 12 % в начале торгов во вторник.

Atos посчитала предложение Onepoint более предпочтительным по сравнению с предложением контролируемой чешский миллиардером Даниэлем Кретинским (Daniel Kretinsky) группы EP Equity Investment (EPEI) в союзе с британским инвестиционным фондом Attestor, пишет The Register.

Согласно предложению консорциума, сформированного Onepoint, крупнейшим акционером Atos, вместе с некоторыми кредиторами Atos, а также Butler Industries и Econocom, €2,9 млрд долга компании будут конвертированы в её акционерный капитал. Также Atos будет предоставлено €1,5 млрд кредитов, включая банковские гарантии в размере €300 млн. Кроме того, в Atos будет вложено ещё около €250 млн, которые будут разделены между консорциумом Onepoint и кредиторами компании.

Источник изображения: Atos

Atos сообщила, что теперь будет работать с консорциумом Onepoint над достижением окончательного финансового соглашения, которое будет реализовано посредством специальной ускоренной процедуры, чтобы выполнить установленный ранее крайний срок подписания в июле. Atos подчеркнула, что предложение Onepoint пользуется поддержкой целого ряда кредиторов и «таким образом, даёт большую уверенность в том, что окончательное соглашение о финансовой реструктуризации будет достигнуто».

Согласно антикризисному плану Onepoint, акции будут значительно размыты. После завершения финансовой реструктуризации существующие акционеры будут владеть менее 0,1% капитала Atos из-за его увеличения. Но идея Лаяни заключается в том, чтобы сохранить Atos в значительной степени нетронутой и под контролем Франции. В Atos заявили, что это предложение в целом соответствует ключевым финансовым параметрам, изложенным компанией, обеспечивает более сильную структуру капитала и достаточную ликвидность для финансирования бизнеса.

По словам главного аналитика Megabuyte Джеймса Приса (James Preece), в предложении Onepoint отмечается чрезмерная приверженность Atos устаревшим инфраструктурным ИТ-услугам, нескоординированность персонала по продажам, низкие цены и низкая эффективность реализации решений, а также отсутствие контроля над удержанием талантов в приобретённых Atos компаниях. Предложение направлено на то, чтобы в течение следующих пяти лет превратить Atos в крупного игрока в области крупномасштабной облачной и цифровой трансформации.

Производитель электроники Foxconn намерен построить на острове передовой вычислительный центр в Гаосюне (Тайань). Datacenter Dynamics информирует, что центр, который будет готов в 2026 году, получит 64 суперускорителя NVIDIA Blackwell GB200 NVL72. Foxconn и NVIDIA будут сотрудничать и над созданием «цифровых двойников» для производственных компаний, электромобилей и систем умного города. Проекты будут реализованы на платформе NVIDIA Omniverse.

В NVIDIA заявили, что сейчас происходит расцвет новой эры вычислений, ставшей драйвером спроса на дата-центры для генеративного ИИ. Также в компании подчеркнули, что Foxconn является ведущим поставщиком вычислительных решений NVIDIA и одним из ключевых новаторов в деле внедрения генеративного ИИ в промышленности и робототехнике. Используя платформы NVIDIA Omniverse и Isaac, компания задействует передовые ИИ-технологии и систему цифровых двойников для создания передового вычислительного центра в Гаосюне.

Источник изображения: Foxconn

Основанная в 1974 году компания Foxconn в последнее время стремится расширить долю рынка в полупроводниковой индустрии на фоне медленного роста продаж смартфонов. Дочерняя компания Ingrays выпускает серверы, системы хранения данных и HPC-компоненты, включая HPC-платформы на основе чипов NVIDIA. Ранее появилась информация о том, что компания намерена превратить опосредованно принадлежащий ей завод Sharp по выпуску LCD-панелей в дата-центр, но тот расположен в Япони и к текущему проекту не имеет прямого отношения.

По оценкам аналитической фирмы Tech Insights, которые приводит ресурс HPC Wire, компания NVIDIA в 2023 году отгрузила приблизительно 3,76 млн ускорителей на базе GPU, ориентированных на ЦОД. Это более чем на 1 млн штук превосходит результат 2022 года, когда поставки таких изделий оценивались в 2,64 млн единиц.

С учётом решений AMD и Intel общий объём поставок GPU-ускорителей для ЦОД в 2023 году составил 3,85 млн единиц против примерно 2,67 млн штук в 2022 году. Правда, столь малая доля отгрузок решений AMD и Intel вызывает некоторые сомнения. Как отмечает аналитик Tech Insights Джеймс Сандерс (James Sanders), в настоящее время на рынке не хватает аппаратных ресурсов для удовлетворения всех ИИ-потребностей. А поэтому будет расти спрос на ускорители и специализированные чипы разработчиков, конкурирующих с NVIDIA.

Согласно подсчётам TechInsights, по итогам 2023-го NVIDIA контролировала около 98 % мирового рынка ускорителей на базе GPU для дата-центров. Схожий результат компания продемонстрировала и годом ранее. Такой рост связан со стремительным развитием ИИ-приложений и увеличением спроса на НРС-системы. При этом на NVIDIA приходится и 98 % выручки от реализации таких ускорителей: в 2023 году они принесли компании $36,2 млрд, что более чем в три раза превышает прошлогодний показатель в $10,9 млрд.

По данным TechInsights, в 2023 году AMD поставила около 50 тыс. ускорителей для ЦОД, а Intel — примерно 40 тыс. единиц (в оригинальном материале HPCWire указаны на порядок более высокие значения; корректировка сделана в соответствии с оставшейся долей в 2 % рынка). В 2024-м, как полагают эксперты, спрос на такие продукты в глобальном масштабе поднимется. Речь, в частности, идёт об ускорителях серии Instinct MI300, разработанных AMD. При этом AMD заявляет, что намерена выпускать новые решения ежегодно: ускоритель MI325X запланирован на 2024 год, MI350 — на 2025-й, а MI400 — на 2026-й. В свою очередь, Intel продвигает изделия Gaudi3.

Специализированные ИИ-чипы проектируют и ведущие гиперскейлеры. Так, AWS в конце прошлого года представила ИИ-ускоритель Trainium2, предназначенный для обучения нейронных сетей. Google анонсировала изделия Cloud TPU v5p, а Microsoft — Maia 100. Meta✴ намерена активно внедрять собственные ИИ-ускорители Artemis.

Китайская холдинговая интернет-компания ByteDance, владеющая в том числе платформой TikTok, по сообщению Datacenter Dynamics, реализует масштабный проект по расширению кампуса ЦОД в Малайзии. Речь идёт о создании хаба, рассчитанного на поддержание ИИ-нагрузок.

Об инициативе объявил министр инвестиций, торговли и промышленности Малайзии Тенгку Зафрул Азиз (Tengku Zafrul Aziz) после встречи с вице-президентом TikTok Хеленой Лерш (Helena Lersch). В общей сложности на ИИ-хаб в этой стране ByteDance потратит около $2,13 млрд.

Отмечается, что ByteDance является якорным арендатором крупного кампуса ЦОД Bridge Data Centers (BDC) MY06 в технопарке Седенак в Джохоре. Не исключено, что часть средств будет направлена на модернизацию этой площадки. Как сообщил Тенгку Зафрул Азиз, ByteDance вложит примерно $317 млн в расширение возможностей своего дата-центра. Подробности о проекте пока не раскрываются.

Источник изображения: Bridge Data Centres

Комплекс MY06 открылся в 2022 году: мощность площадки на момент ввода в эксплуатацию составляла 110 МВт. По заявлениям BDC, это крупнейший ЦОД такого типа в Малайзии. Однако Yondr Group планирует создать в названном технопарке кампус мощностью 300 МВт. Компания уже получила кредит в размере $150 млн для финансирования строительства объекта.

Нужно отметить, что кампусы ЦОД в Малайзии создают ведущие мировые гиперскейлеры. В частности, Google вложит $2 млрд в ЦОД и облако в этой стране, тогда как Microsoft намерена потратить на аналогичные проекты $2,2 млрд. Equinix уже открыла в Малайзии два своих первых дата-центра. Вместе с тем NVIDIA и YTL Power (YTLP), энергетическое подразделение малайзийского конгломерата YTL, занялись созданием ИИ-облака и суперкомпьютеров в стране: общий объём инвестиций составит $4,3 млрд.

Таким образом, Малайзия становится всё ближе к тому, чтобы действительно стать новым IT-хабом Юго-Восточной Азии, тогда как соседний Сингапур, по-видимому, продолжит терять лидерские позиции из-за энергетического кризиса.

Немецкая компания по производству суперкомпьютерного оборудования ParTec и её лицензионный агент BF exaQC AG, по сообщению ресурса HPC Wire, подали иск против Microsoft. Редмондская корпорация обвиняется в нарушении патентов на технологии, которые применяются при создании мощных современных суперкомпьютеров для задач ИИ.

В материалах дела речь идёт о разработках, связанных с динамической модульной системной архитектурой (dMSA). Технология обеспечивает эффективное взаимодействие CPU, GPU и других чипов в составе НРС-систем. Отмечается, что dMSA имеет основополагающее значение при построении мощных вычислительных комплексов для обучения ИИ-моделей и инференса.

Важность патентов ParTec AG подтверждается использованием соответствующих разработок в ведущих европейских суперкомпьютерах, таких как Leonardo в Болонье (Италия), Jupiter в Юлихе (Германия) и Meluxina в Люксембурге. Все они построены с применением dMSA и признаны новаторскими платформами, говорит компания.

Источник изображения: pixabay.com

Кроме того, ParTec ведёт переговоры о лицензировании своих технологий с известным американским производителем чипов. А с властями США компания обсуждает возможность использования разработок в строящемся крупнейшем в мире суперкомпьютере экзафлопсного уровня. Вероятно, имеется в виду система El Capitan, которая обеспечит производительность более 2 Эфлопс (FP64). Ввод комплекса в эксплуатацию намечен на середину нынешнего года.

В рамках разбирательства с Microsoft компания ParTec просит суд наложить запрет на дальнейшее незаконное использование запатентованных технологий. Кроме того, немецкий разработчик требует обязать ответчиков выплатить компенсацию. Корпорация Microsoft ситуацию никак не комментирует.

«Аквариус» и «Группа Астра» подписали оглашение о сотрудничестве по развитию и продвижению российских программно-аппаратных комплексов (ПАК) системы резервного копирования AQ_ServRuBackup (ПАК СРК AQ_ServRuBackup). В основу ПАК положены аппаратная платформа Aquarius, ОС Astra Linux и ПО для резервного копирования и восстановления данных RuBackup. Говорится о поддержке различных сред виртуализации, в том числе VMmanager.

Для ПАК СРК «Аквариус» предусмотрены несколько модификаций с разными ёмкостью и производительностью. Это варианты «Начальный», «Оптимальный» и «Скоростной» на основе серверов «Аквариус» T50 D212FW (2U), «Аквариус» T50 D436FW (4U) и «Аквариус» T50 D224FW (2U) соответственно.

В первых двух случаях применяются HDD типа NL SAS (7200 RPM), а максимальная вместимость достигает 320 Тбайт и 1,2 Пбайт соответственно. Старшая «скоростная» модель комплектуется накопителями SATA SSD суммарной вместимостью до 1,2 Пбайт. Все системы оснащены двумя портами 10/25GbE SFP28, а опционально могут быть добавлены по четыре разъёма 1GbE RJ-45 и 10GbE RJ-45, два порта 10GbE SFP+ и два порта 100GbE QSFP28 (только у старшей версии).

Источник изображения: «Аквариус»

Благодаря решению RuBackup комплексы, как утверждается, обеспечивают надёжную защиту данных от различных рисков, включая сбои оборудования, человеческие ошибки, кибератаки, повреждения и стихийные бедствия. Среди ключевых особенностей систем названы масштабируемость для предприятий и организаций федерального уровня, полная автоматизация процесса резервного копирования, управление его жизненным циклом, эффективное хранение данных с защитой от удаления, изменения и подмены, а также встроенные средства контроля информационной безопасности.

«ПАК СРК AQ_ServRuBackup — это сбалансированное архитектурное решение, оптимизирующее затраты на проектирование и интеграцию. Совместное решение способно закрыть потребности как организаций со сложной инфраструктурой корпоративного уровня, так и небольших компаний», — говорит глава «Рубэкап» (входит в «Группу Астра»).