Компания NVIDIA сообщила о том, что её система DGX SuperPOD ляжет в основу нового вычислительного комплекса для задач ИИ, который будет использоваться различными правительственными учреждениями США для проведения исследований в области климатологии, здравоохранения и кибербезопасности.

Внедрением суперкомпьютера занимается MITRE — американская некоммерческая организация, специализирующаяся в области системной инженерии. Она ведёт разработки и исследования в интересах госорганов США, включая Министерство обороны (DoD), Федеральное управление гражданской авиации (FAA) и пр.

Система DGX SuperPOD станет основой вычислительной платформы MITRE Federal AI Sandbox, доступ к ресурсам которой будет предоставляться различным организациям на федеральном уровне. Государственные учреждения смогут сообща использовать суперкомпьютер для обучения больших языковых моделей (LLM), развёртывания генеративных приложений и других современных ИИ-решений.

Источник изображения: NVIDIA

В состав MITRE Federal AI Sandbox войдут 32 системы NVIDIA DGX H100, а общее количество ускорителей NVIDIA H100 составит 256 штук. Производительность на операциях ИИ будет достигать примерно 1 Эфлопс. Быстродействие FP64 — приблизительно 17 Пфлопс. Ввод суперкомпьютера в эксплуатацию состоится позднее в текущем году.

«Развёртывание MITRE DGX SuperPOD поможет ускорить реализацию инициатив федерального правительства США в области ИИ. Технологии ИИ обладают огромным потенциалом для улучшения государственных услуг в гражданской области и решения серьёзных проблем, в том числе в сфере кибербезопасности», — сказал Энтони Роббинс (Anthony Robbins), вице-президент NVIDIA.

Компания CoreWeave, специализирующаяся на предоставлении облачных услуг для решения ИИ-задач, по сообщению Datacenter Dynamics, намерена активно развивать бизнес в Великобритании. В ближайшее время в соответствующие проекты планируется инвестировать £1 млрд (приблизительно $1,25 млрд).

Отмечается, что CoreWeave уже открыла представительство в Лондоне, которое станет европейской штаб-квартирой компании. В 2024 году CoreWeave намерена запустить в Великобритании два дата-центра с последующим развитием инфраструктуры в 2025-м. Подробности об этих ЦОД пока не раскрываются.

Майк Интратор (Mike Intrator), соучредитель и генеральный директор CoreWeave, заявил, что укрепление присутствия в Великобритании является важной вехой на пути дальнейшего развития компании. CoreWeave рассчитывает разворачивать облачные сервисы на местном рынке, предоставляя клиентам вычислительные ресурсы для внедрения приложений ИИ.

Источник изображения: CoreWeave

Стартап CoreWeave, основанный в 2017 году, изначально занимался майнингом криптовалют. Затем компания переориентировалась на вычисления общего назначения и хостинг проектов генеративного ИИ. Недавно CoreWeave привлекла финансирование в размере $1,1 млрд, получив оценку в $19 млрд. CoreWeave заявляет, что её сервисы с ускорителями NVIDIA позволяют клиентам выполнять задачи более эффективно и с повышенной производительностью, нежели традиционные публичные облака.

На сегодняшний день CoreWave предоставляет услуги из трёх ЦОД-регионов. Это площадки US East в Уихокене (Нью-Джерси), US West в Лас-Вегасе (Невада) и US Central в Чикаго (Иллинойс). К концу 2024 года компания рассчитывает управлять в общей сложности 28 дата-центрами. В частности, CoreWeave намерена потратить не менее $1,6 млрд на ЦОД в городе Плано (Техас).

Южнокорейский стартап Deepx, занимающийся разработкой специализированных чипов для задач ИИ, сообщил о проведении раунда финансирования Series C, в ходе которого на развитие получено $80,5 млн. В инвестиционной программе принимают участие SkyLake Equity Partners, BNW Investments, AJU IB и TimeFolio Asset Management.

Deepx была основана в 2018 году бывшим инженером Apple и Cisco Локвоном Кимом (Lokwon Kim). В настоящее время в Deepx работает около 65 человек. Компания подала примерно 260 патентных заявок в США, Китае и Южной Корее на различные разработки, связанные с ИИ. Полученные средства Deepx намерена направить на ускорение разработки и коммерциализации своих продуктов. Отмечается, что стартап ведёт переговоры более чем со 100 потенциальными клиентами и стратегическими партнёрами.

Источник изображения: Deepx

Deepx проектирует ИИ-процессоры для разных сфер применения. Это, в частности, изделия DX-V1 и DX-V3 для бытовой электроники, DX-M1 для промышленных роботов и периферийных вычислений, а также DX-H1 для серверов. Производительность этих чипов на ИИ-операциях варьируется от 5 до 400 TOPS. Архитектура решений Deepx предусматривает сокращение интенсивности обмена данными с памятью DRAM, что позволяет повысить общую эффективность вычислений.

Помимо аппаратных компонентов, Deepx предоставляет программную платформу DXNN, которая позволяет автоматически компилировать модели ИИ в формат, поддерживаемый чипами компании. Причём компилятор производит оптимизацию (квантование) моделей для улучшения производительности.

Компания SpiNNcloud Systems анонсировала «нейроморфный суперкомпьютер» — гибридную высокопроизводительную вычислительную ИИ-систему, основанную, по словам компании, на принципах работы человеческого мозга. Утверждается, что это первое коммерчески доступное решение данного типа.

Изделие базируется на архитектуре, разработанной Стивом Фербером (Steve Furber), одним из создателей оригинального процессора Arm. Идея заключается в применении большого количества маломощных чипов для более эффективной обработки ИИ-задач и других рабочих нагрузок.

SpiNNaker2 представляет собой специализированную серверную плату с 48 чипами, каждый из которых насчитывает 152 ядра Arm. Таким образом, общее количество ядер составляет 7296. В состав чипов также входят различные дополнительные узлы, включая распределённые GPU-подобные блоки для ускорения обработки нейроморфных, гибридных и обычных моделей ИИ.

Источник изображений: SpiNNcloud Systems

В одну стойку могут монтироваться до 90 плат SpiNNaker2. Масштабирование осуществляется путём объединения таких стоек в кластер. В результате, как утверждается, возможно эмулирование в реальном времени как минимум 10 млрд взаимосвязанных нейронов. На операциях машинного обучения производительность может достигать 0,3 Эопс (10¹⁸ операций в секунду). Для сравнения — исследовательский нейроморфный компьютер Intel Hala Point поддерживает до 1,15 млрд нейронов и производительность до 30 Попс.

От традиционных ИИ-платформ на базе GPU новое решение отличается универсальностью, говорит компания. Благодаря использованию многочисленных асинхронных блоков с низким энергопотреблением достигается более эффективное управление рабочими нагрузками.

Со II половины 2024 года изделия SpiNNaker2 будут доступны в составе облачной платформы. В I половине 2025-го планируется организовать поставки самостоятельных систем. В число первых заказчиков SpiNNaker2 вошли Национальные лаборатории Сандия (Sandia National Laboratories), Технический университет Мюнхена (TUM) и Гёттингенский университет (Universität Göttingen).

Компания Eviden (дочерняя структура Atos) анонсировала серверы серии BullSequana AI, предназначенные для решения ИИ-задач. В зависимости от модификации и уровня производительности устройства подходят для различных сценариев использования — от НРС-платформ до периферийных вычислений.

Наиболее производительными серверами семейства являются решения BullSequana AI 1200H. Они могут применяться в составе облачных и гибридных инфраструктур, а также в дата-центрах заказчиков. По сути, это суперкомпьютер корпоративного уровня, специально разработанный для ресурсоёмких задач, таких как точная настройка ИИ-систем или обучение больших языковых моделей (LLM).

Конфигурация BullSequana AI 1200H включает суперчипы NVIDIA Grace Hopper, а также интерконнект NVIDIA Quantum-2 InfiniBand. Задействовано программное обеспечение Eviden Jarvice XE, Eviden Smart Energy Management Suite, Eviden Smart Management Center и NVIDIA AI Enterprise.

Источник изображения: Eviden

Серверы BullSequana AI 1200H, насчитывающие в общей сложности 1456 ускорителей NVIDIA H100, выбраны для модернизации французского суперкомпьютера Jean Zay. Производительность этого НРС-комплекса увеличится более чем в три раза — с 36,85 до 125,9 Пфлопс.

Кроме того, в новое семейство серверов вошли производительные устройства BullSequana AI 800, системы BullSequana AI 600 с воздушным и гибридным охлаждением, модели BullSequana AI 200 для частных и гибридных облачных сред, а также BullSequana AI 100 для периферийных вычислений.

Источник изображения: Eviden

В целом, как отмечается, каждая модель BullSequana AI предлагает различные уровни производительности, масштабируемости и гибкости. Таким образом, заказчики могут подобрать наиболее подходящий для себя вариант в зависимости от конкретного варианта использования, бюджета и размера бизнеса.

На предстоящей конференции для разработчиков WWDC 2024, которая пройдёт в июне, Apple, как ожидается, представит новую версию iOS 18 с множеством функций генеративного ИИ. Некоторые из них будут выполняться локально, но часть будет использовать ИИ-модели, развёрнутые в ЦОД Apple.

Как сообщает Bloomberg со ссылкой на информированные источники, компания в рамках программы Apple Chips in Data Centers (ACDC) начала обновлять инфраструктуру, оснащая свои ЦОД серверами с чипами собственной разработки M2 Ultra для обеспечения более эффективной работы ИИ-моделей. По словам источников, за последние три года компания инвестировала сотни миллионов долларов в новую облачную инициативу.

Источник изображения: Apple

Чип M2 Ultra включает вычислительный модуль Neural Engine для запуска ИИ-моделей. В ближайшем будущем в ЦОД будут также устанавливаться серверы с чипами M4, представленными на прошлой неделе. Ранее на этой неделе The Wall Street Journal сообщал, что Apple в рамках ACDC разрабатывает собственные серверные ИИ-ускорители для инференса.

Пока Apple планирует использовать для новых облачных сервисов собственные ЦОД, но в конечном итоге перенесёт часть нагрузок на «сторонние объекты». На это намекнул финансовый директор Лука Маэстри (Luca Maestri). «У нас есть собственные мощности ЦОД, а затем мы используем мощности третьих сторон, — сказал он после того, как его попросили рассказать об ИИ-инфраструктуре. — Эта модель исторически хорошо работала для нас, и мы планируем продолжать в том же духе и в дальнейшем».

Саудовская компания DataVolt начала строительство дебютного дата-центра Tashkent IT Park Data Center в Ташкенте, передаёт Datacenter Dynamics. Спецификации нового объекта оператором пока не раскрывались, но Министерство цифровых технологий Узбекистана сообщило, что речь идёт о проекте ёмкостью 10 МВт и стоимостью $150 млн.

В DataVolt заявили, что новый ЦОД представляет собой модульное решение с возможностью масштабирования, что позволит организовать выполнение самых разных задач, а производительность может составить от сотен до тысяч Тфлопс. Церемония закладки объекта состоялась в присутствии президента Узбекистана и саудовского принца, в числе прочего занимающего пост министра энергетики.

Источник изображения: Sarvar Samigov/unsplash.com

Это лишь первый проект DataVolt в Узбекистане, но речь уже идёт об инновационном решении в области экоустойчивости — он предусматривает использование солнечной и ветряной энергии, запасать которую предполагается в энергохранилищах. Дополнительно предусмотрено питание от водорода и иных видах «зелёного» топлива для круглосуточного обеспечения экобезопасной энергией. Такой подход позволит обеспечить экономически эффективную базу для внедрения ИИ-вычислений в Узбекистане — проект станет локомотивам развития передовой IT-индустрии.

Основанная в прошлом году DataVolt является дочерней структурой Vision Invest, саудовской инвестиционно-строительной компании, занимающейся объектами критической инфраструктуры. Значительная часть руководства DataVolt, включая генерального директора, ранее работала в ACWA Power, занимавшейся созданием электростанций и опреснителей — эта компания тоже принадлежит Vision Invest.

Ранее DataVolt подписала с властями Узбекистана инвестиционное соглашение, согласно которому в стране будут возведены ЦОД ещё на 500 МВт. Т.н. «Новый Ташкент» разместит у себя кампус ёмкостью 250 МВт на участке в 25 га. Ещё один объект ёмкостью 40 МВт появится в Бухаре, в перспективе его мощность будет доведена до 250 МВт.

В прошлом году DataVolt анонсировала партнёрство с индийской AquaTech Systems, предусматривающее создание водно-эффективных ЦОД, а также со Sterling and Wilson. Кроме того, DataVolt раскрыла планы по строительству кампуса ЦОД в Бангладеш. А в самой Саудовской Аравии компания намерена инвестировать $5 млрд в строительство дата-центров.

Компания GigaIO анонсировала новую модификацию системы SuperNODE для рабочих нагрузок генеративного ИИ и приложений НРС. Суперкомпьютер в стойке теперь может комплектоваться ускорителями AMD Instinct MI300X, благодаря чему значительно повышается производительность при работе с большими языковыми моделями (LLM).

Решение SuperNODE, напомним, использует фирменную архитектуру FabreX на базе PCI Express, которая позволяет объединять различные компоненты, включая GPU, FPGA и пулы памяти. По сравнению с обычными серверными кластерами SuperNODE даёт возможность более эффективно использовать ресурсы.

Изначально для SuperNODE предлагались конфигурации с 32 ускорителями AMD Instinct MI210 или 24 ускорителями NVIDIA A100. Новая версия допускает использование 32 изделий Instinct MI300X. Утверждается, что архитектура FabreX в сочетании с технологией интерконнекта AMD Infinity Fabric наделяет систему SuperNODE «лучшими в отрасли» возможностями в плане задержек при передаче данных, пропускной способности и управления перегрузками. Это позволяет эффективно справляться с обучением LLM с большим количеством параметров.

Источник изображения: GigaIO

Отмечается, что SuperNODE значительно упрощает процесс развёртывания и управления инфраструктурой ИИ. Традиционные конфигурации обычно включают в себя сложную сеть и необходимость синхронизации нескольких серверов, что создаёт определённые технических сложности и приводит к дополнительным временным затратам. Конструкция SuperNODE с 32 мощными ускорителями в рамках одной системы позволяет решить указанные проблемы.

Red Hat представила Red Hat Enterprise Linux AI (RHEL AI), базовую платформу, которая позволит более эффективно разрабатывать, тестировать и запускать генеративные модели искусственного интеллекта (ИИ) для поддержки корпоративных приложений. Фактически это специализированный дистрибутив, включающий базовые модели, инструменты для работы с ними и необходимые драйверы.

Источник изображений: Red Hat

Доступная сейчас в качестве превью для разработчиков, платформа RHEL AI включает в себя семейство больших языковых моделей (LLM) IBM Granite, недавно ставших доступными под лицензией Apache 2.0, инструментом тюнинга и доработки моделей InstructLab посредством методики LAB (Large-Scale Alignment for Chatbots), а также различные библиотеки и фреймворки.

Решение представляется в виде готового для развёртывания образа и является частью MLOps-платформы OpenShift AI. По словам Red Hat, RHEL AI предоставляет поддерживаемую, готовую к корпоративному использованию среду для работы с ИИ-моделями на аппаратных платформах AMD, Intel и NVIDIA. По словам компании, open source подход позволит устранить препятствия на пути реализации стратегии в области ИИ, такие как недостаток навыков обработки данных и финансовых возможностей.

Основная цель RHEL AI и проекта InstructLab — предоставить экспертам в предметной области возможность напрямую вносить свой вклад в большие языковые модели, используя свои знания и навыки. Новая платформа позволит им более эффективно создавать приложения с использованием ИИ, например, чат-боты. Впоследствии при наличии подписки RHEL AI компания предложит поддержку корпоративного уровня на протяжении всего жизненного цикла продукта, начиная с модели Granite 7B и ПО и заканчивая возможным возмещение ущерба в отношении интеллектуальной собственности.

«Опираясь на инфраструктуру GPU, доступную в IBM Cloud, которая используется для обучения моделей Granite и поддержки InstructLab, IBM Cloud получит поддержку RHEL AI и OpenShift AI. Эта интеграция позволит предприятиям легче внедрять генеративный ИИ в свои критически важные приложения», — отметила компания.

При этом прямо сейчас для запуска RHEL AI требуются весьма производительные сертифицированные системы с ускорителями, имеющими минимум 320 Гбайт памяти, а также хранилищем ёмкостью от 200 Гбайт. Среди протестированных указаны серверы Dell с четырьмя NVIDIA H100, Lenovo с восемью AMD Instinct MI300X, а также инстансы IBM Cloud GX3. Вскоре обещана поддержка инстансов AWS EC2 P5 с NVIDIA H100 и ускорителей Intel.

После того, как компании Foxconn не удалось наладить крупное производство на площадке в Маунт-Плезант (Висконсин, США), её передали Microsoft для строительства кампуса ЦОД общей стоимостью $3,3 млрд, передаёт The Register.

Получив налоговые льготы на сумму в $3 млрд, Foxconn так и не смогла ими воспользоваться — проект не отвечал требованиям штата, например, по количеству созданных рабочих мест. Компанию даже поймали на подтасовке статистики путём найма сотрудников с последующим увольнением сразу после подачи отчётности. К 2021 году объём планируемых инвестиций сократился до $672 млн, а налоговые льготы — до $80 млн.

Впрочем, Foxconn так и не удалось реализовать амбициозный проект — инициатива по созданию 13 тыс. рабочих мест провалилась, было снесено порядка 100 домов и ферм, а на подготовку площадки совершенно зря ушло $500 млн средств налогоплательщиков. Компания смогла сформировать только небольшое производство серверов.

Источник изображения: Dave Hoefler/unsplash.com

В 2023 году участок в 400 га, предназначавшийся для строительства завода, приобрела Microsoft. Здесь компания намерена построить кампус ЦОД, модернизировать местную инфраструктуру и совместно с Университетом Висконсина создать центр AI Co-Innovation Lab для внедрения машинного обучения в процессы автоматизации и обучения 100 тыс. местных жителей генеративным ИИ-технологиям вроде Copilot. Дополнительно компания намерена подготовить и сертифицировать 3 тыс. местных разработчиков ИИ-систем и 1 тыс. техников для обслуживания ЦОД.

Строительство началось в конце 2023 года. Ранее местные СМИ писали минимум о четырёх дата-центрах на территории кампуса. В Microsoft попытались развеять страхи, что кампус будет потреблять слишком много энергии — компания работает с National Grid над строительством в Висконсине солнечной электростанции на 250 МВт, последняя должна заработать в 2027 году. Также Microsoft намерена использовать замкнутую систему жидкостного охлаждения для большей части мощностей на площадке, которая будет потреблять воду только во время очень жаркой погоды. Ранее Microsoft попала в неприятности в окрестностях Финикса (Аризона), где её фактически заставили отказаться от испарительного охлаждения.

Что касается трудоустройства, планы у Microsoft даже близко не столь масштабные, как были у Foxconn: бизнес из Редмонда рассчитывает задействовать 2,3 тыс. человек в строительстве к 2025 году и сформировать 2 тыс. постоянных рабочих мест.