Oracle закупит у NVIDIA высокопроизводительные ускорители на $40 млрд для нового гигантского ЦОД OpenAI в Абилине (Техас, США), который станет первым объектом проекта Stargate, сообщила газета The Financial Times. После завершения строительства мощность ЦОД составит 1,2 ГВт, что сделает площадку одной из крупнейших в мире.

По словам источников The Financial Times, Oracle приобретёт для установки в этом ЦОД около 400 тыс. ИИ-ускорителей NVIDIA GB200. Объект будет введён в эксплуатацию в середине 2026 года, после чего Oracle возьмёт его в аренду на 15 лет и предоставит вычислительные мощности в аренду OpenAI. Владельцы площадки, Crusoe Energy и американская инвестиционная компания Blue Owl Capital, привлекли $15 млрд в форме заёмных средств и акционерного капитала. Весь кампус ЦОД будет включать восемь объектов.

По словам осведомлённых источников, JPMorgan предоставил большую часть долгового финансирования по двум кредитам на общую сумму $9,6 млрд, включая кредит в размере $7,1 млрд, объявленный на этой неделе. Crusoe и Blue Owl по отдельности инвестировали в проект около $5 млрд.

После завершения строительства ЦОД в Абилине будет соперничать по масштабам с ЦОД xAI Colossus, который вместит до 1 млн ускорителей NVIDIA. Большей частью в ЦОД используются более ранние и менее мощные версии ускорителей NVIDIA — H100 и H200. На этой неделе Маск заявил, что следующим этапом Colossus станет «первый гигаватный суперкластер для обучения ИИ». В свою очередь, Amazon строит в Северной Вирджинии дата-центр мощностью более 1 ГВт, а Meta✴ возводит 1,5-ГВт кампус в Луизиане.

Источник изображения: Crusoe Energy

Возведение ЦОД в Абилине станет важным шагом в реализации планов OpenAI по снижению зависимости от Microsoft. Ранее стартап полагался исключительно на вычислительные мощности софтверного гиганта, а большая часть почти $14 млрд инвестиций Microsoft в OpenAI была предоставлена в виде кредитов на облачные вычисления. OpenAI и Microsoft расторгли соглашение об эксклюзивности услуг и прав Microsoft после того, как выяснилось, что аппетиты стартапа на вычисления намного превышают возможности Microsoft. Сейчас партнёры ведут переговоры по поводу того, как долго Microsoft будет сохранять лицензионные права на модели OpenAI.

OpenAI намерена расширить проект Stargate за пределы США, планируя построить крупный ЦОД в ОАЭ. Так, крупнейший ИИ ЦОД Stargate будет не в США — OpenAI и G42 планируют построить кампус ИИ ЦОД мощностью 5 ГВт в ОАЭ. Ранее сообщалось, что OpenAI обдумывает возможность инвестиций в строительство ИИ-инфраструктуры в Великобритании и Евросоюзе. Возможно, следующий кампус Stargate при поддержке SoftBank появится в Японии. Сейчас компания ищет новые площадки и партнёров в Азиатско-Тихоокеанском регионе.

OpenAI выделила более $11,6 млрд дополнительных средств на строительство объекта OpenAI в техасском Абилине (Abilene), сообщает Inside HPC. Первый кампус Stargate будет включать восемь объектов вместо в двух в первоначальном варианте проекта. Каждое из восьми зданий получит до 50 тыс. ускорителей в составе платформ NVIDIA Blackwell GB200 NVL72. JPMorgan Chase инвестирует в проект более $7 млрд.

Строительством совместно занимаются Crusoe Energy, Blue Owl Capital и Primary Digital Infrastructure. У компаний уже есть $11,6 млрд заёмных средств и акционерного капитала. Реализация первого этапа проекта началась в июне 2024 года, первые два 200-МВт объекта должны получить энергию в I половине 2025 года. Строительство в рамках второго этапа, которое началось в марте этого года, предусматривает создание ещё шести объектов и подведение 1 ГВт. Первые объекты второго этапа получит энергию в середине 2026-го, общая мощность кампуса в итоге составит 1,2 ГВт.

Дата-центр, который по словам Сэма Альтмана (Sam Altman) будет крупнейшей в мире площадкой для обучения ИИ-моделей, должен заработать в следующем году, общие инвестиции в проект составят $15 млрд. Stargate поможет OpenAI снизить зависимость от Microsoft — последняя вложила порядка $13 млрд в компанию с 2019 года. Сама NVIDIA, по слухам, вложила в OpenAI $100 млн в прошлом году.

Источник изображения: Crusoe Energy

Пока что в OpenAI разочарованы неспособностью Microsoft выделить достаточно ИИ-мощностей. В результате стартап заключил соглашение с Oracle об использовании площадки в Абилине после получения одобрения Редмонда. По имеющимся данным Oracle арендовала ЦОД на 15 лет. Сам кампус является частью Lancium Clean Campus принадлежащего Lancium. В долгосрочной перспективе OpenAI рассчитывает построить собственную сеть дата-центров, включая те, что предназначены для проекта Stargate стоимостью $100–$500 млрд.

NVIDIA построит в ближайшем будущем на Тайване новую штаб-квартиру, а также два ИИ-суперкомпьютера. Об этом сообщил гендиректор американской компании Дженсен Хуанг (Jensen Huang), подтвердив свою приверженность Тайваню как глобальному технологическому центру, пишет The Financial Times.

Хуан отдал должное Тайваню, «крупнейшему региону по производству электроники в мире», назвав его «центром компьютерной экосистемы». Строительством первого ИИ-суперкомпьютера на базе 10 тыс. ускорителей Blackwell займётся Big Innovation Company, «дочка» Foxconn, в сотрудничестве с NVIDIA и при поддержке тайваньского правительства. Стоимость суперкомпьютера, который будут использоваться в технологической экосистеме Тайваня, составит сотни миллионов долларов. В числе клиентов будущего суперкомпьютера Хуанг назвал TSMC, ключевого производственного партнёра NVIDIA, которая будет использовать его вычислительные мощности для исследований и разработки новых процессов создания чипов.

Второй ИИ-суперкомпьютер построит ASUS в интересах Национального HPC-центра NCHC (National Center for High-Performance Computing). Он будет ориентирован на исследование климата, разработку квантовых технологий, создание LLM и иную R&D-деятельность. Система будет в восемь раз мощнее суперкомпьютера Taiwania 2, в создании которого также принимала участие ASUS. Новинка получит узлы HGX H200 (всего 1700 ускорителей), две стойки GB200 NVL72, а также HGX B300, объединённые интерконнектом Quantum InfiniBand. Кроме того, NCHC планирует установить системы DGX Spark и развернуть облачный HGX-кластер.

«Мы растём за пределы нашего текущего офиса [на Тайване]», — заявил Хуан, демонстрируя видео приземления футуристического космического корабля и его последующей трансформации в дизайн новой штаб-квартиры Constellation («Созвездие»), строительство которой начнется в ближайшее время в Бэйтоу (Beitou), районе Тайбэя.

Источник изображения: NVIDIA

Дженсен Хуанг также представил интерконнект NVLink Fusion, который позволит объединить решения NVIDIA с решениями конкурентов. Таким способом компания надеется закрепить свою технологию в качестве решения для базовой инфраструктуры. «Ничто не радует меня больше, чем, когда вы покупаете всё у NVIDIA… но мне доставляет огромную радость, если вы просто покупаете что-то у NVIDIA», — пошутил он.

На вопрос о возможности создания NVIDIA нового чипа для Китая, который бы соответствовал последним экспортным ограничениям США, Хуанг заявил, что компания «оценивает, как лучше всего выйти на китайский рынок», отметив, что дальнейшие модификации H20 невозможны. Вместе с тем NVIDIA рассматривает возможность перепроектирования своих чипов с учётом новых ограничений, чтобы продолжать продавать их в Китае. На прошлой неделе стало известно о планах NVIDIA построить новый исследовательский центр в Шанхае в знак своей приверженности Поднебесной.

Хуанг добавил, что «нет никаких доказательств контрабанды каких-либо ИИ-чипов» в Китай. Из-за опасений по поводу нелегальных поставок передовых чипов NVIDIA в Китай американские законодатели потребовали в прошлом месяце от компании предоставить отчёт о продажах её продукции в Китае и Юго-Восточной Азии.

Компания Cadence анонсировала суперкомпьютер Millennium M2000, спроектированный для выполнения сложного моделирования с использованием ИИ. Новая НРС-система предназначена для ускорения проектирования микрочипов, разработки лекарственных препаратов следующего поколения и пр.

Суперкомпьютер построен на платформе NVIDIA HGX B200. Кроме того, задействованы карты NVIDIA RTX Pro 6000 Blackwell Server Edition, оснащённые 96 Гбайт памяти GDDR7. Применены библиотеки NVIDIA CUDA-X и специализированное ПО для решения ресурсоёмких задач.

Утверждается, что Millennium M2000 обеспечивает до 80 раз более высокую производительность по сравнению с системами на базе CPU в области автоматизации проектирования электроники (EDA), создания и анализа систем (SDA) и разработки медикаментов. При этом глубоко оптимизированный программно-аппаратный стек помогает существенно сократить общее энергопотребление.

В качестве примера приводится моделирование подсистемы питания на уровне полупроводниковых чипов. В случае вычислительных комплексов на основе сотен традиционных CPU на выполнение такой задачи может потребоваться около двух недель. Суперкомпьютер Millennium M2000 позволит получить результат менее чем за один день.

Источник изображения: Cadence

Генеральный директор NVIDIA Дженсен Хуанг (Jensen Huang) сообщил, что компания планирует приобрести десять суперкомпьютерных систем Millennium на базе GB200 NVL72 для ускорения проектирования собственных продуктов. Сторонние заказчики смогут получить доступ к Millennium M2000 через облако или купить устройство для установки в собственном дата-центре. Базовая конфигурация включает около 32 ускорителей и стоит $2 млн, но это не финальная цена.

Корпорация Oracle ввела в эксплуатацию в своих дата-центрах первые суперускорители NVIDIA GB200 NVL72. Тысячи GPU семейства Blackwell доступны клиентам через облако NVIDIA DGX Cloud и инфраструктуру Oracle Cloud Infrastructure (OCI) для создания и запуска ИИ-агентов и «рассуждающих» моделей следующего поколения.

Решение GB200 NVL72 объединяет 18 узлов 1U в одной стойке: каждый из них содержит два ускорителя GB200, что в сумме даёт 72 чипа B200 и 36 процессоров Grace. Задействована система жидкостного охлаждения. Платформа Oracle включает высокоскоростные сетевые решения NVIDIA Quantum-2 InfiniBand и Spectrum-X Ethernet.

Отмечается, что Oracle планирует сформировать один из самых крупных в мире кластеров с ИИ-ускорителями поколения Blackwell. Системы OCI Supercluster смогут масштабироваться до более чем 100 тыс. GPU для удовлетворения стремительно растущих потребностей в вычислительных ресурсах для задач инференса и НРС. При этом Oracle предлагает гибкие варианты развёртывания, позволяющие клиентам использовать Blackwell через публичные, государственные и суверенные облака, а также собственные дата-центры.

Источник изображения: NVIDIA

О намерении задействовать мощности OCI GB200 уже заявили ряд крупных клиентов. В их число входят технологические компании, корпоративные заказчики, государственные учреждения, а также региональные поставщики облачных услуг.

Ранее о запуске общедоступных инстансов на основе NVIDIA GB200 NVL72 объявила компания CoreWeave, предоставляющая облачные сервисы для ИИ-задач. Кластеры Supermicro на базе NVIDIA GB200 NVL72 предложит клиентам Eviden (подразделение Atos Group). Эти суперускорители также взяла на вооружение облачная платформа Google Cloud. xAI также приступил к монтажу NVIDIA GB200 NVL72 для ИИ-кластера Colossus.

NVIDIA объявила о стратегическом партнёрстве с Google Cloud с целью внедрения агентного ИИ на предприятиях, которые хотели бы локально использовать семейство моделей Google Gemini с помощью платформ NVIDIA Blackwell HGX/DGX, а также функции NVIDIA Confidential Computing для повышения безопасности данных.

Интеграция платформы NVIDIA Blackwell с портфелем программно-аппаратных решений Google Distributed Cloud позволяет локальным ЦОД соответствовать нормативным требованиям и законам о суверенитете данных, блокируя доступ к конфиденциальной информации, включая истории болезни пациентов, финансовые транзакции и секретную правительственную информацию. NVIDIA Confidential Computing защищает конфиденциальный код в моделях Gemini от несанкционированного доступа и утечек данных — запросы пользователя к API Gemini, а также данные, которые они использовали для тонкой настройки, остаются в безопасности и защищены от несанкционированного доступа или изменений.

Сачин Гупта (Sachin Gupta), вице-президент и генеральный менеджер по инфраструктуре и решениям в Google Cloud, отметил, что партнёрство позволяет предприятиям в полной мере использовать весь потенциал агентного ИИ, внедряя модели Gemini в локальные системы, и объединяя производительность NVIDIA Blackwell и возможности конфиденциальных вычислений.

Хотя многие уже могут использовать модели с мультимодальным рассуждением — интегрируя текст, изображения, код и другие типы данных для решения сложных проблем и создания облачных приложений агентного ИИ, предприятия с повышенными требованиями к безопасности или суверенитету данных столкнулись с трудностями при внедрении этих технологий. Данное партнёрство позволит решить эти проблемы, благодаря чему Google Cloud становится одним из первых поставщиков, предлагающих возможности конфиденциальных вычислений для защиты рабочих нагрузок ИИ-агентов в любой среде, как облачной, так и гибридной.

Источник изображения: NVIDIA

Масштабирование агентного ИИ требует надёжного мониторинга и безопасности для обеспечения стабильной производительности и соответствия требованиям. Google Cloud представила новый шлюз GKE Inference Gateway, созданный для оптимизации развёртывания рабочих нагрузок ИИ-агентов с расширенной маршрутизацией и масштабируемостью. Интеграция с NVIDIA Triton Inference Server и NVIDIA NeMo Guardrails обеспечивает интеллектуальную балансировку нагрузки, которая повышает производительность и снижает затраты на обслуживание, также обеспечивая централизованную безопасность и управление моделями.

В дальнейшем Google Cloud планирует улучшить отслеживания рабочих нагрузок агентского ИИ, интегрировав NVIDIA Dynamo, библиотеку с открытым исходным кодом, предназначенную для обслуживания и масштабирования рассуждающих моделей. Этот перспективный подход гарантирует, что предприятия смогут уверенно масштабировать свои приложения агентского ИИ, сохраняя при этом безопасность и соответствие требованиям.

Компания Dell представила сервер PowerEdge XE8712, предназначенный для обработки разнообразных ИИ-нагрузок и HPC, включая обучение ИИ-моделей, молекулярное моделирование, геномное секвенирование, а также моделирование процессов на финансовых рынках.

Источник изображений: Dell

В основе PowerEdge XE8712 лежит плата NVIDIA GB200 NVL4. Сервер оснащён суперчипом GB200 Grace Blackwell Superchip, включающим четыре ускорителя B200 Blackwell и два 72-ядерных Arm-процессора NVIDIA Grace.

Как отмечает производитель, благодаря возможности установки до 144 ускорителей NVIDIA Blackwell (36 узлов) в одну стойку Dell серии IR7000, XE8712 обеспечивает одну из самых высоких в отрасли плотностей размещения GPU. Это позволяет выполнять больше рабочих нагрузок ИИ и HPC в меньшем физическом пространстве, снижая эксплуатационные расходы без ущерба для вычислительной мощности.

Для отвода тепла в XE8712 используется технология прямого жидкостного охлаждения (DLC) — до 264 кВт на стойку. Dell IR7000 отличается раздельными полками питания с общей шиной питания мощностью до 480 кВт. Эта модульная ORv3-стойка легко интегрируется в различное окружения и будет совместима с серверами Dell PowerEdge следующего поколения.

Компания CoreWeave выбрала дата-центр Bulk Infrastructure в Норвегии для размещения кластера суперускорителей NVIDIA GB200 NVL72, объединённых интерконнектом Quantum-2 InfiniBand. Кластер, который, по словам компании, станет одной из крупнейших в Европе ИИ-системой на базе чипов NVIDIA, должен заработать уже к лету 2025 года, сообщает Datacenter Dynamics. Ранее CoreWeave пообещала развернуть крупнейший в Европе ИИ-кластер на базе NVIDIA Blackwell в Швеции.

В CoreWeave подчеркнули, что компания рада сотрудничать с Bulk в деле расширения своего присутствия в регионе и в Европе вообще для обеспечения растущих потребностей в ИИ и HPC. Отдельно подчёркивается приверженность Bulk к созданию масштабируемой экобезопасной инфраструктуры. По словам самой Bulk Infrastructure, соглашение с CoreWeave — важнейшая веха в развитии норвежского бизнеса. С 2020 года Bulk Infrastructure привлекла в общей сложности $700 млн инвестиций, в том числе $380 млн от BOG.

ЦОД N01, по словам компании, по-своему уникален и подходит для размещения ИИ-инфраструктуры. Кампус расположен на участке площадью 3 км² рядом с электроподстанцией близ города и коммуны Кристиансанна (Kristiansand) фюльке Агдер (Agder). Кампус на 100 % запитан от многочисленных ГЭС. Всего площадка может получить до 400 МВт, но возможно расширение до 1 ГВт. В январе 2024 года Bulk начала строительство на территории кампуса нового объекта мощностью 42 МВт.

Источник изображения: Bulk Infrastructure

CoreWeave анонсировала планы инвестировать $3,5 млрд в европейские ЦОД, в том числе $1,3 млрд в Великобритании, где уже заработали два первых объекта. К концу 2024 года она намеревалась открыть по всему миру 28 дата-центров, ещё 10 новых планировали ввести в эксплуатацию в 2025 году. Сейчас компания готовится к IPO.

Компании Eviden (подразделение Atos Group) и Supermicro объявили о заключении соглашения о стратегическом сотрудничестве. Договор предполагает, что Eviden начнёт предлагать клиентам ИИ-системы Supermicro SuperCluster на базе суперускорителей NVIDIA GB200 NVL72. Система Supermicro SuperCluster оснащена накопителями E1.S с интерфейсом PCIe 5.0, а также жидкостным охлаждением.

Соглашение между Eviden и Supermicro распространяется на различные географические рынки, включая Европу, Индию, Ближний Восток и Южную Америку. Eviden предложит клиентам в этих регионах возможность использования платформ Supermicro SuperCluster на основе NVIDIA GB200 NVL72 в рамках своего более масштабного инфраструктурного предложения. Предполагается, что благодаря данному партнёрству Supermicro сможет получить доступ к обширной сети клиентов Eviden вкупе с опытом этой компании в области развертывания и управлении крупными проектами в сфере ИИ. Кроме того, Eviden обеспечит обслуживание и поддержку оборудования.

Источник изображения: Supermicro

Сотрудничество является частью более широкой стратегии Eviden и Supermicro по укреплению положения на рынке ИИ-платформ корпоративного класса. Компании стремятся объединить свои сильные стороны с целью предоставления заказчикам инновационных решений, которые стимулируют цифровую трансформацию и улучшают бизнес-результаты.

Компания Supermicro представила большое количество серверов, рассчитанных на ИИ-задачи, НРС-нагрузки и периферийные вычисления. В частности, дебютировали системы в форм-факторе 10U с возможностью установки восьми ускорителей NVIDIA B200 (SXM): это системы SuperServer SYS-A22GA-NBRT, SuperServer SYS-A21GE-NBRT и A+ Server AS-A126GS-TNBR.

Модель SuperServer SYS-A22GA-NBRT рассчитана на два процессора Intel Xeon 6900P семейства Granite Rapids, каждый из которых может насчитывать до 128 ядер (TDP до 500 Вт). Доступны 24 слота для модулей оперативной памяти DDR5-8800 MRDIMM суммарным объёмом до 6 Тбайт. Есть десять фронтальных отсеков для SFF-накопителей с интерфейсом PCIe 5.0 x4 (NVMe) и два коннектора для SSD типоразмера M.2 2280/22110/25110 (PCIe 4.0 x4 NVMe). Предусмотрены десять слотов для карт PCIe 5.0 x16 LP и два слота для карт PCIe 5.0 x16 FHHL. Питание обеспечивают шесть блоков мощностью 5250 Вт. Реализовано воздушное охлаждение.

Вариант SuperServer SYS-A21GE-NBRT поддерживает установку двух процессоров Intel Xeon поколения Emerald Rapids или Sapphire Rapids, содержащих до 64 вычислительных ядер (с показателем TDP до 350 Вт). Доступны 32 слота для модулей DDR5-4400/5600 максимальным объёмом 8 Тбайт. Предусмотрены десять отсеков для накопителей SFF (PCIe 5.0 x4 NVMe), два коннектора M.2 2280 (PCIe 3.0 x4 NVMe), восемь слотов PCIe 5.0 x16 LP, два слота PCIe 5.0 x16 FHHL, шесть блоков питания мощностью 5000 Вт.

Модель A+ Server AS-A126GS-TNBR, в свою очередь, может комплектоваться двумя чипами AMD EPYC 9005 Turin или EPYC 9004 Genoa (максимум 192 ядра, до 500 Вт). Доступны 24 слота для модулей DDR5-6000 суммарным объёмом до 9 Тбайт. Реализованы десять фронтальных SFF-отсеков (8 × NVMe и 2 × SATA), два коннектора M.2 NVMe, восемь слотов PCIe 5.0 x16 LP и два слота PCIe 5.0 x16 FHHL. Задействованы шесть блоков питания мощностью 5250 Вт с сертификатом Titanium. Машина оборудована воздушным охлаждением.

Кроме того, Supermicro представила компактный сервер SYS-112D-36C-FN3P, в основу которого положена аппаратная платформа Intel Xeon 6 SoC (Granite Rapids-D), оптимизированная специально для сетевых и периферийных устройств. Эта модель наделена двумя портами 100GbE QSFP28 и слотом PCIe 5.0 FHFL. Поддерживается до 512 Гбайт памяти DDR5. Дебютировали системы SYS-E201-14AR и SYS-E300-14AR, рассчитанные на задачи IoT и ИИ на периферии.