Техасский центр передовых вычислений (TACC) при Техасском университете в Остине (США) объявил о том, что мощности нового НРС-комплекса Vista полностью доступны открытому научному сообществу. Суперкомпьютер предназначен для решения ресурсоёмких задач, связанных с ИИ.

Формальный анонс машины Vista состоялся в ноябре 2023 года. Тогда говорилось, что Vista станет связующим звеном между существующим суперкомпьютером TACC Frontera и будущей системой TACC Horizon, проект которой финансируется Национальным научным фондом (NSF).

Vista состоит из двух ключевых частей. Одна из них — кластер из 600 узлов на гибридных суперчипах NVIDIA GH200 Grace Hopper, которые содержат 72-ядерный Arm-процессор NVIDIA Grace и ускоритель H100/H200. Обеспечивается производительность на уровне 20,4 Пфлопс (FP64) и 40,8 Пфлопс на тензорных ядрах. Каждый узел содержит локальный накопитель вместимостью 512 Гбайт, 96 Гбайт памяти HBM3 и 120 Гбайт памяти LPDDR5. Интероконнект — Quantum 2 InfiniBand (400G).

Второй раздел суперкомпьютера объединяет 256 узлов с процессорами NVIDIA Grace CPU Superchip, содержащими два кристалла Grace в одном модуле (144 ядра). Узлы укомплектованы 240 Гбайт памяти LPDDR5 и накопителем на 512 Гбайт. Интерконнект — Quantum 2 InfiniBand (200G). Узлы произведены Gigabyte, а за интеграцию всей системы отвечала Dell.

Источник изображения: TACC

Общее CPU-быстродействие Vista находится на отметке 4,1 Пфлопс. В состав комплекса входит NFS-хранилише VAST Data вместимостью 30 Пбайт. Суперкомпьютер будет использоваться для разработки и применения решений на основе генеративного ИИ в различных секторах, включая биологические науки и здравоохранение.

Юридическая фирма Robbins Geller Rudman & Dowd LLP, по сообщению ресурса Storage Newsletter, раскрыла информацию о том, что в коллективном иске под названием «Averza против Super Micro Computer» (№24-cv-06147; Северный Округ Калифорнии) указанный производитель серверного оборудования, а также некоторые его руководители обвиняются в нарушении Закона о ценных бумагах 1934 года.

Напомним, ранее инвестиционная компания Hindenburg Research опубликовала разгромный доклад об операциях Supermicro. В частности, выявлены соглашения между связанными сторонами — такие договоры обычно заключаются между компанией и её дочерними структурами на нерыночных условиях. Hindenburg Research также обвинила Supermicro в нарушении санкционного режима. После этого акции компании упали в цене более чем на 20 %.

Источник изображения: Supermicro

В иске №24-cv-06147, а также в позднее поданной жалобе «Menditto против Super Micro Computer» (№24-cv-06149; Северный Округ Калифорнии) компания Supermicro обвиняется в ложных и (или) вводящих в заблуждение заявлениях и в сокрытии определённой информации. Компании в числе прочего вменяется:

• Регулярное завышение объёмов продаж и занижение расходов;
• Повторный приём на работу нескольких руководителей, которые были уволены из-за предыдущего скандала с бухгалтерской отчетностью;
• Тесные отношения со своими связанными сторонами;
• Продажи продукции заказчикам, подпавшим под американские санкции в связи со сформировавшейся геополитической обстановкой.

Отмечается, что 28 августа 2024 года Supermicro объявила о задержке подачи формы 10-K за 2024 финансовый год, заявив, что «руководству необходимо дополнительное время для завершения оценки состояния и эффективности своих внутренних средств контроля над финансовой отчётностью».

Представители американских властей бьют тревогу, подозревая Россию в подготовке различным недружественным актам. Как сообщает Datacenter Dynamics, среди прочего флот РФ подозревают в вероятной подготовке к диверсиям на крупнейших подводных кабелях — якобы увеличилась российская активность вблизи ключевых цифровых магистралей.

Как сообщил один из представителей американских властей журналистам, США традиционно обеспокоены ростом активности военно-морского флота России по всему миру и тем, что страна может изменить отношение к целостности американских кабелей и кабельной инфраструктуры союзников США. В Вашингтоне утверждают, что Россия якобы продолжает разрабатывать средства и способы поражения подводной инфраструктуры.

Источник изображения: Ben Kusik / Unsplash

Подводные оптоволоконные кабели обеспечивают практически весь межконтинентальный трафик, лишь небольшая часть которого приходится на спутниковую связь. Некоторые другие подводные кабели передают и энергию, в том числе между странами и регионами, а также от ветряных турбин к побережью.

По словам представителя американских властей, любое уничтожение подводной инфраструктуры, включая подводных кабелей, особенно в периоды повышенной напряжённости, увеличивают риск «недопониманий» и «заблуждений», которые могут привести к непреднамеренной эскалации. Особенно в Вашингтоне обеспокоены возможной угрозой инфраструктуре США и их союзников.

Большую важность кабельной инфраструктуры наглядно показали события в Красном море, когда несколько кабелей были повреждены, вызвав перебои со связью во многих странах и регионах. Впрочем, случайные повреждения кабелей случаются довольно часто, а разбирательства могут длиться годами.

Техасский стартап Xockets подал в Окружной суд США по Западному округу Техаса в городе Уэйко (Waco) на NVIDIA и Microsoft, обвинив их в нарушении антимонопольного законодательства и патентных прав. Сам иск был опубликован на этой неделе на сайте Xockets.

Согласно иску, NVIDIA незаконно использунт запатентованную Xockets технологию нового класса процессоров — Data Processing Unit (DPU), изобретённую соучредителем Xockets Парином Далалом (Parin Dalal) в 2012 году. Эта технология повышает эффективность облачной инфраструктуры, позволяя разгружать CPU, перенося на DPU рабочие нагрузки с интенсивным использованием данных, такие как обеспечение безопасности, обслуживание сетей и хранилищ, которые делают возможными распределённые вычисления в облачных ЦОД, а также обучение больших языковых моделей.

Xockets подала свою первую патентную заявку на DPU в мае 2012 года и теперь владеет несколькими патентами, которые касаются её архитектуры и компоненты DPU. Как утверждает Xockets, технология является основополагающей для систем ИИ на базе ускорителей NVIDIA и ИИ-платформ Microsoft. По её словам, решения NVIDIA BlueField, ConnectX и NVLink Switch, основаны на её запатентованной технологии.

Xockets сообщила, что её патенты были изначально нарушены компанией Mellanox после того, как DPU Xockets был продемонстрирован на конференции в 2015 году. И NVIDIA продолжила деор Mellanox после её приобретения в марте 2019 года за $6,9 млрд. Microsoft также указана в качестве нарушителя патентных прав, поскольку, являясь клиентом NVIDIA, имеет «привилегированный доступ к нарушающим права GPU-серверам NVIDIA для ИИ».

Источник изображения: Xockets

После подачи иска Xockets заявила: «Использование NVIDIA запатентованной технологии DPU Xockets позволило NVIDIA монополизировать сферу серверов ИИ на базе GPU, а Microsoft — сферу ИИ-платформ на базе GPU, что имеет решающее значение для их успеха и рыночной капитализации».

Xockets также обвинила компании в картельном соглашении, выразившемся в создании организации под названием RPX по управлению патентными рисками, которая, по словам стартапа, была «сформирована по просьбе крупных технологических компаний для создания картелей покупателей интеллектуальной собственности», чтобы избежать уплаты справедливой рыночной цены за запатентованную технологию DPU Xockets.

В иске указано, что Xockets пыталась лицензировать свою технологию NVIDIA и Microsoft, но компании заключили соглашение о проведении любых переговоров по лицензированию через RPX, которая также указана в иске в числе ответчиков.

Xockets потребовала установить судебный запрет на деятельность незаконного картеля и выпуск новых ИИ-систем на базе ускорителей NVIDIA Blackwell, а также использование Microsoft систем Blackwell для своих платформ генеративного ИИ. Xockets также требует возмещения ущерба в максимально допустимом законом объёме.

Взрывной рост ИИ сделал индустрию ЦОД одной из самых привлекательных сфер для вложения средств. Как сообщает The Register, NVIDIA совместно с другими инвесторами намерена вложить $160 млн в техасского оператора дата-центров Applied Digital, ранее известного как Applied Blockchain. Это не первый заметный игрок на рынке майнинговых ЦОД, которые переключился на ИИ и получил поддержку NVIDIA.

Акции Applied Digital торгуются на Nasdaq, но по данным Silicon Angle, в данном случае компания привлекла финансирование посредством т.н. «частного размещения» (private placement), которое предусматривает прямую передачу акций инвесторам без посредничества биржи. При этом в сделке обычно участвуют заранее одобренные компании. Applied Digital выпустила 49,38 млн акций по $3,24 за каждую.

Applied Digital занимается строительством дата-центров с СЖО для высокоплотных вычислений. Компания также сдаёт в аренду кластеры ускорителей, в частности, NVIDIA H200 и A40. Облачное подразделение — довольно весомая часть бизнеса Applied Digital. В финансовом году, закончившемся 31 марта, на его долю пришлось $29 млн из $165,6 млн общей выручки. За четыре последних месяца в эксплуатацию введено четыре новых ИИ-кластера, а ещё два запустят в ближайшие месяцы.

Источник изображения: Applied Digital

В августе Applied Digital объявила о строительстве 400 МВт ёмкостей для неназванного американского облачного оператора. Речь идёт о строящемся 100-МВт кампусе в Эллендейле (Северная Дакота) и двух других объектах. По данным СМИ, $160 млн новых инвестиций потратят на создание основы для раундов долгового финансирования, а оно уже будет истрачено на расширение кампуса ЦОД в Северной Дакоте и облачные инициативы компании. Интересно, что именно в этом штате две неизвестных компании готовы потратить $250 млрд на гигантские ИИ ЦОД.

Поскольку передовые ускорители NVIDIA стоят порядка $30-40 тыс. каждый, некоторые операторы вынуждены обращаться за крупными займами. Так, в июле оператор CyrusOne занял $7,9 млрд для покупки новейших ускорителей, не считая $1,8 млрд, привлечённых ещё весной. В мае CoreWeave привлекла $1,1 млрд, а несколькими неделями позже убедила инвесторов одолжить ещё $7,5 млрд. Lambda Labs начала текущий год с раунда финансирования на $320 млн, ещё $500 млн она привлекла весной и теперь планирует закупить десятки тысяч новых ускорителей.

Помимо традиционных венчурных инвесторов вроде BlackRock, Magnetar Capital и Coatue, в некоторых из подобных проектов участвует и сама NVIDIA, ранее уже поддерживавшая CoreWeave, которая прославилась тем, что взяла в долг $2,3 млрд под залог ускорителей, чтобы купить ещё больше ускорителей. Мотивация NVIDIA очевидна — продавать ускорители компания сможет до тех пор, пока на них есть спрос, а спрос может обеспечить только строительство новых дата-центров.

Американская телекоммуникационная корпорация Verizon объявила о заключении соглашения по приобретению провайдера широкополосного интернет-доступа Frontier Communications Parent. Сумма сделки составляет около $20 млрд; осуществить её планируется полностью за счёт денежных средств.

Frontier специализируется исключительно на оптоволоконных сетях. Компания обслуживает примерно 2,2 млн клиентов в 25 американских штатах. Путём приобретения этого провайдера Verizon планирует расширить свою ВОЛС-инфраструктуру, охватив 31 штат и округ Колумбия. Объединённая организация потенциально сможет обслуживать 25 млн клиентов.

По условиям соглашения, Verizon приобретет Frontier из расчёта за $38,5 за акцию, что представляет собой премию в размере 43,7 % к 90-дневной средневзвешенной стоимости ценных бумаг ШПД-провайдера по состоянию на 3 сентября 2024 года (последний торговый день перед сообщениями СМИ о слиянии). Сделка единогласно одобрена советами директоров обеих компаний.

Источник изображения: Verizon

Ожидается, что транзакция будет осуществлена в течение примерно 18 месяцев при условии одобрения акционерами Frontier и получения необходимых разрешений со стороны регулирующих органов. В качестве консультантов в рамках соглашения выступают Centerview Partners LLC, Morgan Stanley & Co. LLC, Debevoise & Plimpton LLP, PJT Partners, Barclays, Cravath, Swaine & Moore LLP, Paul, Weiss, Rifkind, Wharton & Garrison LLP.

По состоянию на 30 июня 2024-го общий долг Frontier составлял $11,25 млрд, Verizon рефинансирует его в рамках сделки. Нужно отметить, что в 2016 году Verizon продала свой телевизионный и интернет-бизнес в Калифорнии, Техасе и Флориде компании Frontier за $10,54 млрд. В периметр этой сделки вошла часть оптоволоконных сетей Verizon. На сегодняшний день оптоволоконная инфраструктура Verizon охватывает менее 10 % территории США, а приобретение Frontier даст ещё примерно 3 %.

Две компании намерены заняться строительством в Северной Дакоте (США) ИИ ЦОД. Datacenter Dynamics сообщает, что на августовском заседании местной Комиссии по коммунальным услугам (Public Service Commission) к властям со своими предложениями обратились представители крупного бизнеса. Ёмкость проектов составит от 500 МВт до 1 ГВт, но со временем может вырасти до 5–10 ГВт.

Реализация каждого проекта обойдётся в $125 млрд. Хотя имена компаний не раскрываются, обе описываются источниками СМИ, как бизнесы с рыночной капитализацией в «триллионы» долларов. Таких компаний не так уж много. В частности, речь может идти об NVIDIA, Amazon, Microsoft, Google, Meta✴ и Apple.

В марте 2024 года Microsoft совместно с OpenAI изучала возможность строительства 5-ГВт кампуса за $100 млрд. Проект Stargate на тот момент не ассоциировали с конкретным местом, не было и информации о чипах, которые намерены использовать компании. Издание The Information утверждает, что одной из компаний, намеренной построить ЦОД в Северной Дакоте, является именно Microsoft — губернатор штата Даг Бургум (Doug Burgum) ранее был одним из топ-менеджеров гиперскейлера.

Источник изображения: Intricate Explorer/unsplash.com

В Комиссии говорят, что интерес к проектам ИИ ЦОД вырос. Сейчас ведутся переговоры с компаниями, наиболее агрессивно реализующими подобные проекты, поэтому штат должен упростить компаниям перезонирование земель и получение доступа к электроэнергии, иначе высок риск потери инвестиций. При этом в Северной Дакоте, по данным Data Center Map, в штате всего семь кампусов ЦОД. Однако именно здесь всего за четыре года рост энергопотребления дата-центрами составил 37 %, говорится в июльском докладе Управления энергетической информации (Energy Information Administration, EIA) США.

В штате действует криптомайнинговый оператор Applied Digital, получивший в июне $200 млн инвестиций на строительство ЦОД в Северной Дакоте. Компания заключила сделку с неизвестным гиперскейлером, который займёт мощности на расширенном объекте компании. Северная Дакота — один из немногих штатов, генерирующих больше энергии, чем тратит сам, и третий по величине добытчик сырой нефти в стране. Комиссия округа Мортон (Morton County Commission) намерена обсудить возможный мораторий на строительство ЦОД в своих границах.

Топ-менеджеры OpenAI, включая гендиректора Сэма Альтмана (Sam Altman), провели ряд встреч с потенциальными инвесторами с целью заручиться поддержкой в создании многомиллиардной IT-инфраструктуры, необходимой для ускоренного развития ИИ, сообщило агентство Bloomberg. Обсуждения проходят в преддверии нового многомиллиардного раунда финансирования OpenAI, который, как ожидается, возглавит венчурный фонд Thrive Capital при участии Microsoft, Apple и NVIDIA. После завершения раунда оценка рыночной стоимости стартапа может превысить $100 млрд.

По данным Bloomberg, Альтман провёл начало года, добиваясь одобрения правительством США своего плана по формированию коалиции глобальных инвесторов с целью финансирования дорогостоящего проекта. А в настоящее время он и его команда занимаются проработкой деталей своей инициативы. В частности, обсуждаются такие направления как строительство ЦОД, увеличение мощностей источников энергии и систем её передачи, а также расширение производства полупроводников.

Источник изображения: Markus Winkler / Unsplash

Группа поддержки проекта, как сообщается, скорее всего, будет включать инвесторов из Канады, Кореи, Японии и ОАЭ и иные частные компании. Крупнейший инвестор производителя ChatGPT, компания Microsoft, может стать одним из его потенциальных партнёров. В Microsoft не стали комментировать конкретно этот проект, но заявили, что компания участвует в любых инициативах OpenAI, направленных на укрепление инфраструктуры.

С целью продвижения сделки топ-менеджеры OpenAI провели ряд встреч. Директор по стратегии OpenAI Джейсон Квон (Jason Kwon) провёл переговоры с инвесторами в Японии и Корее. Вице-президент OpenAI по глобальной политике Крис Лихейн (Chris Lehane) пообщался с инвесторами в Канаде. А Альтман провел дополнительные переговоры с инвесторами в ОАЭ, с которыми уже общался ранее, сообщили источники. Также он общался с инвесторами из США.

Источник изображения: Jakub Żerdzicki / Unsplash

Отвечая на вопрос о планах по развитию инфраструктуры, представитель OpenAI заявил, что компания «считает, что создание дополнительной инфраструктуры в США имеет решающее значение для дальнейшего развития ИИ и обеспечения широкого доступа к его преимуществам». По словам источника, знакомого с планами Альтмана, тот считает, что не только OpenAI, но и другие компании получат выгоду от инфраструктурных проектов, равно как и страны-союзники США. Дополнительным преимуществом станет создание рабочих мест для реализации проектов, дополняющих «Закон о чипах и науке» (CHIPS and Science Act).

Но глобальные амбиции OpenAI могут вызвать опасения по поводу национальной безопасности США, поскольку потенциальные инвесторы — ближневосточные суверенные инвестиционные фонды — известны связями с Китаем. Во всяком случае, в последние месяцы OpenAI проводила встречи с Советом национальной безопасности США (NSC) по поводу планируемых инвестиций. В ходе этих переговоров, а также встреч с рядом официальных лиц США, руководители OpenAI подчёркивали, что инициатива поможет укрепить геополитическое преимущество Америки, создав многонациональную коалицию для конкуренции с китайскими структурами. В противном случае иностранный капитал получат китайские ИИ-проекты.

Фонды под управлением Blue Owl Capital, Chirisa Technology Parks (CTP) и PowerHouse Data Centers объявили о заключении соглашения по формированию совместного предприятия, которое займётся созданием крупномасштабных ЦОД для компании CoreWeave. На эти цели будет выделено до $5 млрд.

Стартап CoreWeave основан в 2017 году. Изначально компания занималась майнингом криптовалют, а затем переориентировалась на вычисления общего назначения и хостинг проектов генеративного ИИ. В настоящее время CoreWeave предоставляет специализированные облачные ИИ-решения. Компания активно развивает инфраструктуру дата-центров для ИИ.

Соглашение между Blue Owl, Chirisa и PowerHouse предусматривает быстрое развёртывание в рамках совместного предприятия дата-центров «под ключ» для нагрузок ИИ и НРС. Помимо CoreWeave, использовать такие ЦОД смогут другие гиперскейлеры и корпоративные заказчики.

Источник изображения: CoreWeave

На первом этапе в 2025–2026 гг. в CoreWeave получит 120 МВт в кампусе CTP общей площадью около 14,2 га недалеко от Ричмонда (Вирджиния, США). В дальнейшем планируются строительство новых и модернизация уже существующих площадок в Нью-Джерси, Пенсильвании, Техасе, Кентукки и Неваде.

CTP, принадлежащая Chirisa Investments, была основана в конце 2022 года. Первый ЦОД компании мощностью 28 МВт в кампусе в Ричмонде, известный как CTP-01, недавно был сдан в аренду CoreWeave. Кроме того, CTP владеет площадками в Вирджинии, Иллинойсе, Вашингтоне и Нью-Джерси: на сегодняшний день доступны 46 450 м² ЦОД-площадей, а на этапе разработки находятся мощности более 400 МВт.

В свою очередь, фирма PowerHouse, полностью принадлежащая American Real Estate Partners, в настоящее время реализует 30 проектов дата-центров, находящихся в стадии планирования или строительства. Суммарная мощность этих объектов превысит 2,3 ГВт; они расположатся в Вирджинии, Техасе, Неваде и Северной Каролине. Blue Own — управляющая компания с активами на сумму $192 млрд.

Илон Маск (Elon Musk) продолжает наращивать вычислительные мощности своих компаний. Как сообщает Tom’s Hardware, он поделился сведениями об ИИ-суперкластере Cortex. По данным Tom's Hardware, недавнее дополнение завода Giga Texas компании Tesla будет состоять из 70 тыс. ИИ-серверов, а также потребует 130 МВт энергии на обеспечение вычислений и охлаждения на момент запуска, к 2026 году мощность вырастет до 500 МВт.

На опубликованном в социальной сети X видео Илона Маска показан машинный зал: по 16 IT-стоек в ряд, по два ряда на коридор. Каждая стойка вмещает восемь ИИ-серверов, а в середине каждого ряда видны стойки без таковых. В видео можно разглядеть порядка 16–20 рядов, поэтому довольно грубый подсчёт позволяет предположить наличие около 2 тыс. серверов с ускорителями, т.е. менее 3 % от запланированной ёмкости.

В ходе июльского финансового отчёта Tesla Илон Маск рассказал, что Cortex будет крупнейшим обучающим кластером Tesla на сегодняшний день и будет состоять из 50 тыс. ускорителей NVIDIA H100 и 20 тыс. ускорителей Tesla D1 собственной разработки. Это меньше, чем Маск прогнозировал раньше, в июне он сообщал, что Cortex будет включать 50 тыс. D1. Правда, сообщалось, что на момент запуска будут применяться только решения NVIDIA, а разработки Tesla появятся позже.

Источник изображения: Alexander Shatov/unsplash.com

Кластер Cortex предназначен в первую очередь для обучения автопилота Full Self Driving (FSD), сервиса Cybertaxi и роботов Optimus, ограниченное производство которых должно начаться в 2025 году для использования на заводах компании. Также Маск анонсировал планы потратить $500 млн на суперкомпьютер Dojo в Буффало (штат Нью-Йорк), также принадлежащий Tesla. Первым же в «коллекции» Маска заработал Memphis Supercluster, принадлежащий xAI и оснащённый 100 тыс. NVIDIA H100. Со временем эта система получит 300 тыс. ускорителей NVIDIA B200, но задержки с их производством заставили отложить реализацию проекта на несколько месяцев.