Компания NVIDIA сообщила о том, что её система DGX SuperPOD ляжет в основу нового вычислительного комплекса для задач ИИ, который будет использоваться различными правительственными учреждениями США для проведения исследований в области климатологии, здравоохранения и кибербезопасности.

Внедрением суперкомпьютера занимается MITRE — американская некоммерческая организация, специализирующаяся в области системной инженерии. Она ведёт разработки и исследования в интересах госорганов США, включая Министерство обороны (DoD), Федеральное управление гражданской авиации (FAA) и пр.

Система DGX SuperPOD станет основой вычислительной платформы MITRE Federal AI Sandbox, доступ к ресурсам которой будет предоставляться различным организациям на федеральном уровне. Государственные учреждения смогут сообща использовать суперкомпьютер для обучения больших языковых моделей (LLM), развёртывания генеративных приложений и других современных ИИ-решений.

Источник изображения: NVIDIA

В состав MITRE Federal AI Sandbox войдут 32 системы NVIDIA DGX H100, а общее количество ускорителей NVIDIA H100 составит 256 штук. Производительность на операциях ИИ будет достигать примерно 1 Эфлопс. Быстродействие FP64 — приблизительно 17 Пфлопс. Ввод суперкомпьютера в эксплуатацию состоится позднее в текущем году.

«Развёртывание MITRE DGX SuperPOD поможет ускорить реализацию инициатив федерального правительства США в области ИИ. Технологии ИИ обладают огромным потенциалом для улучшения государственных услуг в гражданской области и решения серьёзных проблем, в том числе в сфере кибербезопасности», — сказал Энтони Роббинс (Anthony Robbins), вице-президент NVIDIA.

После того, как компании Foxconn не удалось наладить крупное производство на площадке в Маунт-Плезант (Висконсин, США), её передали Microsoft для строительства кампуса ЦОД общей стоимостью $3,3 млрд, передаёт The Register.

Получив налоговые льготы на сумму в $3 млрд, Foxconn так и не смогла ими воспользоваться — проект не отвечал требованиям штата, например, по количеству созданных рабочих мест. Компанию даже поймали на подтасовке статистики путём найма сотрудников с последующим увольнением сразу после подачи отчётности. К 2021 году объём планируемых инвестиций сократился до $672 млн, а налоговые льготы — до $80 млн.

Впрочем, Foxconn так и не удалось реализовать амбициозный проект — инициатива по созданию 13 тыс. рабочих мест провалилась, было снесено порядка 100 домов и ферм, а на подготовку площадки совершенно зря ушло $500 млн средств налогоплательщиков. Компания смогла сформировать только небольшое производство серверов.

Источник изображения: Dave Hoefler/unsplash.com

В 2023 году участок в 400 га, предназначавшийся для строительства завода, приобрела Microsoft. Здесь компания намерена построить кампус ЦОД, модернизировать местную инфраструктуру и совместно с Университетом Висконсина создать центр AI Co-Innovation Lab для внедрения машинного обучения в процессы автоматизации и обучения 100 тыс. местных жителей генеративным ИИ-технологиям вроде Copilot. Дополнительно компания намерена подготовить и сертифицировать 3 тыс. местных разработчиков ИИ-систем и 1 тыс. техников для обслуживания ЦОД.

Строительство началось в конце 2023 года. Ранее местные СМИ писали минимум о четырёх дата-центрах на территории кампуса. В Microsoft попытались развеять страхи, что кампус будет потреблять слишком много энергии — компания работает с National Grid над строительством в Висконсине солнечной электростанции на 250 МВт, последняя должна заработать в 2027 году. Также Microsoft намерена использовать замкнутую систему жидкостного охлаждения для большей части мощностей на площадке, которая будет потреблять воду только во время очень жаркой погоды. Ранее Microsoft попала в неприятности в окрестностях Финикса (Аризона), где её фактически заставили отказаться от испарительного охлаждения.

Что касается трудоустройства, планы у Microsoft даже близко не столь масштабные, как были у Foxconn: бизнес из Редмонда рассчитывает задействовать 2,3 тыс. человек в строительстве к 2025 году и сформировать 2 тыс. постоянных рабочих мест.

Dominion Energy в прошлом году подключила к энергосети в Вирджинии — крупнейшем в мире рынке ЦОД — 15 дата-центров общей ёмкостью 933 МВт. По данным Datacenter Dynamics, в 2024 году электроснабжение получат ещё столько же ЦОД, суммарная ёмкость которых пока не подсчитана. А всего с 2019 года Dominion Energy подключила в Северной Вирджинии 94 дата-центра общей ёмкостью 4 ГВт. Для сравнения — ёмкость ЦОД Microsoft по всему миру только недавно превысила 5 ГВт.

В докладе Dominion Energy за 2023 год сообщается, что на дата-центры приходится 24 % продаж электричества дочерней Virginia Power, тогда как в 2022 году их доля была 21 %. При этом подчёркивается, что спрос отдельных ЦОД вырос с приблизительно с 30 МВт до 60–90 МВт, а запросы кампусов выросли с 300 МВт до «нескольких гигаватт». При этом на максимальное потребление они теперь выходят не за 4–5 лет, а всего за 2–3 года, причём в дальнейшем нагрузка только увеличится.

Источник изображения: American Public Power Association/unsplash.com

American Electric Power (AEP) получила запросы на поставку до 15 ГВт, львиная доля которых приходится на ЦОД. Драйверами спроса служат гиперскейлеры вроде AWS и Google. Компания имеет мощности около 38 ГВт и готова инвестировать более $27 млрд в линии электропередач и системы распределения энергии в следующие пять лет. Она ожидает увеличение капитальных издержек в будущем, связанных с ростом потребления энергии ЦОД.

Public Service Enterprise Group (PSEG) ведёт переговоры о строительстве ЦОД ёмкостью 50–100 МВт рядом со своими АЭС. Наконец, отвечающая за электропередачу компания PJM заявила, что располагает достаточными ресурсами для того, чтобы удовлетворить спрос летом 2024 года. Однако она предупреждает о проблемах в будущем из-за того, что для замены 1 МВт энергии от обычных электростанций на ископаемом топливе, которые активно выводятся из эксплуатации, фактически требуется несколько МВт из возобновляемых источников из-за нестабильности последних.

Проблема энергоснабжения ЦОД в США вообще и Северной Вирджинии в частности носит системный характер. В апреле сообщалось, что «зелёные» энергопроекты не смогут «прокормить» ИИ на крупнейшем в мире рынке ЦОД, причём тревогу поставщики бьют уже не первый год. Если ситуацию не удастся оперативно исправить, то дефицит энергии может привести к сокращению ИИ-нагрузок или даже к постройке ТЭС непосредственно на территории кампусов, как это уже происходит в Европе.

Администрация общих служб США (GSA) реализовала на аукционе НРС-систему под названием Cheyenne, которая была введена в строй в Центре суперкомпьютерных вычислений NCAR-Wyoming (NWSC) штата Вайоминг в 2016 году. Стоимость лота составила $480 085, тогда как затраты на строительство машины оцениваются как минимум в $25 млн.

Cheyenne стал одним из последних суперкомпьютеров компании Silicon Graphics International (SGI). Корпорация HPE приобрела эту фирму после того, как Cheyenne был смонтирован, но до фактического запуска системы в эксплуатацию. На момент начала работы производительность комплекса составляла 5,34 Пфлопс, что соответствовало 20 месту в актуальном тогда списке ТОР500.

Cheyenne представляет собой кластер SGI ICE XA с 4032 узлами, каждый из которых содержит два процессора Intel Xeon E5-2697v4 Broadwell (18C/36; 2,3 ГГц). Таким образом, суммарное количество ядер достигает 145 152. Применяется оперативная память DDR4-2400 ECC общей ёмкостью 313 Тбайт (4890 модулей на 64 Гбайт). В состав машины изначально входило хранилище данных вместимостью 40 Пбайт. Энергопотребление — приблизительно 1,7 МВт. Задействована система жидкостного охлаждения.

Источник изображения: GSA

Две стойки управления с воздушным охлаждением состоят из 26 серверов типоразмера 1U (20 со 128 Гбайт ОЗУ и ещё 6 с 256 Гбайт ОЗУ), 10 коммутаторов и двух блоков питания. Суперкомпьютер эксплуатировался с 12 января 2017 года по 31 декабря 2023-го, решая задачи в области изменений климата и в других сферах, связанных с науками о Земле. Cheyenne превзошёл свой запланированный срок службы: в заявлении NWSC говорилось, что он будет эксплуатироваться до 2021 года. Однако к концу 2023-го количество сбоев и проблем стало слишком большим.

В описании лота говорится, что «примерно 1 % узлов столкнулись с отказами за последние шесть месяцев», в основном из-за модулей памяти. Кроме того, система испытывает ограничения по техническому обслуживанию из-за неисправных быстроразъёмных соединений, вызывающих протечки воды. Таким образом, «учитывая затраты и время простоя, связанные с устранением проблем», дальнейшее использование комплекса признано нецелесообразным, в связи с чем он пущен с молотка.

Вместе с тем, как отмечает Tom's Hardware, новый владелец суперкомпьютера может реализовать его основные компоненты на вторичном рынке. Например, стоимость чипов Xeon E5-2697 v4 на eBay составляет около $50, а модулей DDR4-2400 ECC ёмкостью 64 Гбайт — примерно $65. То есть, по самым скромным подсчётам, только эти компоненты могут принести новому владельцу суперкомпьютера приблизительно $700 тыс. без учёта затрат на демонтаж и вывоз машины массой 43 т, а также на тестирование компонентов. Впрочем, массовый выброс на рынок CPU и RAM в таких объёмах приведёт к снижению цен.

Житель Майами (Флорида) Онур Аксой (Onur Aksoy) приговорён к 6,5 годам тюремного заключения за многомиллионные аферы с продажей поддельного оборудования Cisco. The Register сообщает, что главной ошибкой предпринимателя, вероятно, стало то, что он рискнул поставлять фейковое железо и военным.

Хотя в подделке электронных комплектующих нет ничего нового, Аксой подошёл к делу с размахом — он курировал не менее 19 компаний в Нью-Джерси и Флориде, а также вёл 15 аккаунтов на Amazon и ещё 10 на eBay. По данным прокурора по округу Нью-Джерси, в ходе многолетней деятельности злоумышленник создал одну из крупнейших схем по поставкам контрафактного оборудования.

Источник изображения: Tingey Injury Law Firm/unsplash.com

Находившиеся под его управлением бизнесы приобретали дешёвые сетевые комплектующие в Китае и Гонконге, после чего те модифицировались так, чтобы выглядеть как новое оборудование Cisco — с соответствующей символикой, упаковкой и документацией. При этом «под капотом» применялись старые комплектующие, бывшее в употреблении или отбракованное «железо» с пиратским или модифицированным ПО и компонентами, помогающими обойти защитные механизмы Cisco.

Таможня США перехватила 180 поставок, но не смогла полностью перекрыть поток контрафакта, поскольку бизнесмен и его китайские партнёры разбивали партии на относительно небольшие посылки и рассылали их на подставные адреса на имена несуществующих людей. По данным Министерства юстиции США, схема принесла $1 млрд выручки, включая $100 млн от продаж на eBay. Сам бизнесмен заработал на ней миллионы долларов.

Примечательно, что Cisco неоднократно делала ему предупреждения в 2014–2019 гг., но длинная рука закона дотянулась до него только тогда, когда он продал поддельное оборудование Пентагону, причём некоторые продукты, как оказалось, даже использовались в реальных боевых операциях.

Судя по всему, военные категорически не пожелали ограничиваться предупреждениями и в 2021 году правоохранительные органы провели рейды по складам Аксоя, а в 2022 году его, наконец, арестовали. В июне того же года он признал вину в обороте контрафактных товаров, мошенничестве с использованием почтовых служб и электронных средств связи. С тех пор обвиняемый ожидал приговора.

По словам представителя военных, случай должен стать уроком тем, кто пытается продать контрафактные товары американскому правительству. Вероятно, без условно-досрочного освобождения за хорошее поведения Аксою придётся оставаться в тюрьме до 2030 года. Кроме того, он должен заплатить компенсацию в $100 млн компании Cisco и неизвестные пока суммы жертвам мошеннических поставок.

Компании Google и Vocus объединили усилия, чтобы увеличить протяжённость призванного связать США и Австралию подводного интернет-кабеля до Новой Зеландии. Datacenter Dynamics сообщает, что соответствующее соглашение уже подписано.

Планы прокладки двух кабелей, связывающих Соединённые Штаты, Фиджи, Французскую Полинезию и Австралию обнародовали в октябре 2023 года в рамках инициативы Pacific Connect. Кабель Honomoana изначально должен был объединять только три основных локации — США, Австралию и Французскую Полинезию. Теперь посадочная станция появится и в Окленде (Новая Зеландия). Также подтвердилась информация о том, что в Австралии будет две посадочных станции, в Мельбурне и Сиднее.

Ожидается, что в 2026 году кабель обеспечит передачу до 30 Тбит/с между Австралией и Новой Зеландией. В Vocus добавили, что для этой ветки системы Pacific Connect предусматривается и прокладка внутриавстралийской магистрали от Сиднея до Мельбурна, а также магистрали через Тасманское море. В Vocus подчёркивают, что после объединения с существующими кабелями сеть компании будет простираться от Юго-Восточной Азии до США с многочисленными посадочными станциями в Тихоокеанском регионе.

Источник изображения: Vocus

Инициатива Pacific Connect предусматривает создание транстихоокеанского подводного комплекса кабелей между Австралией, США, Японией и Чили с кольцом между Фиджи, Французской Полинезией и Гуамом. Также система предусматривает ответвления для ещё не проложенным маршрутов к другим тихоокеанским локациям в будущем. Кроме того, ведутся работы над кабельной системой Apricot.

Vocus в настоящее время выступает оператором кабеля Australia Singapore Cable (ASC) протяжённостью 4600 км, North West Cable System, а также кабельной системы Darwin-Jakarta-Singapore. Ранее в этом году Intelia анонсировала планы прокладки кабеля от южного острова Новой Зеландии к Австралии. Также посадочные станции в Новой Зеландии уже имеют кабели Aqualink, Southern Cross Cable, Southern Cross NEXT, Hawaiki и Tasman Global Access.

Google активно вкладывала средства в многочисленные кабельные проекты, как частные, так и строившиеся специально созданными консорциумами. Ранее в этом месяце техногигант потратил $1 млрд на несколько кабельных магистралей между США и Японией.

Демонстрационная платформа на водородных топливных элементах, запущенаная в Остине (Техас), запитает ЦОД суперкомпьютерного центра Texas Advanced Computing Center (TACC). Проект стал частью инициативы H2@Scale и будет моделью для будущих масштабных водородных проектов, объединяющих производство, распределение, хранение и использование данного вида топлива, передаёт Datacenter Dynamics.

Объект, расположенный в одном из кампусов Техасского университета, представляет собой плод сотрудничества GTI Energy, её «дочки» Frontier Energy, университетского Центра электромеханики, а также пары десятков акционеров, представляющих промышленные предприятия. Площадка будет генерировать водород, путём электролиза, используя энергию солнца и ветра, а также переработку метана с хранилищ отходов. Полученный водород будет применяться в топливных ячейках и для заправки парка электромобилей Toyota Mirai и БПЛА, тоже применяющих водородные топливные элементы.

Техасский университет не первое десятилетие работает над соответствующими технологиями и намерен поставлять для проекта квалифицированные кадры и инженерные данные. Помимо текущего проекта, исследовательская площадка пригодится и для развития других решений в «зелёной» водородной индустрии. А основанный в 2001 году центр TACC стал пристанищем для нескольких суперкомпьютеров, включая Frontera, JetStream2, Lonestar6, Maverick2 и Stampede3. Не так давно анонсировано строительство кластера Vista на ускорителях NVIDIA.

Источник изображения: Техасский университет

Инициативу H2@Scale в Техасском университете начали реализовать в 2020 году. В задачи входит продвижение пилотных проектов, связанных с «возобновляемым» водородом в качестве экологически чистого и экономически эффективного источника топлива. В числе промышленных партнёров университета есть Air Liquide, CenterPoint Energy, Chart Industries, Chevron, ConocoPhillips, Hitachi Energy, Low-Carbon Resources Initiative, McDermott, Mitsubishi Heavy Industries America, OneH2, ONE Gas, ONEOK, Shell, SoCalGas, Texas Commission on Environmental Quality, Toyota и WM.

Государственно-частные проекты в рамках инициативы H2@Scale поддерживает Министерство энергетики США. Техасский университет отмечает, что штат имеет оптимальные условия для реализации водородных проектов, уже имея значительную водородную инфраструктуру, включая около 1500 км подходящих трубопроводов. Но эксперименты H2@Scale ведутся и в других местах. Так, в январе Caterpillar Electric Power и Microsoft объявили об успешном эксперименте, в ходе которого для питания дата-центра применялись исключительно водородные топливные ячейки в течение 48 часов.

Американская компания Thoma Bravo, специализирующаяся на инвестициях в сферах кибербезопасности и технологий ИИ, сообщила о заключении соглашения по приобретению британского разработчика Darktrace. Сумма сделки составит приблизительно $5,3 млрд.

Фирма Thoma Bravo, основанная в 2008 году, имеет представительства в Сан-Франциско, Нью-Йорке, Лондоне и Майами. Этот инвестиционный гигант по состоянию на июль 2023 года заключил более 440 сделок в области ПО и ИБ. В портфолио Thoma Bravo — McAfee, Proofpoint и Sophos. Под управлением Thoma Bravo находятся активы на сумму около $138 млрд.

Источник изображения: pixabay.com

Darktrace, учреждённая в 2013 году, базируется в Кембридже. Эта британская компания создаёт продукты на основе ИИ для обеспечения информационной безопасности. Система Darktrace ActiveAI Security Platform способна за считанные секунды обнаруживать и реагировать на известные и неизвестные киберугрозы в рамках всей экосистемы организации, включая облако, приложения, электронную почту, конечные точки, сети и пр.

Изначально Thoma Bravo пыталась приобрести Darktrace в 2022 году, но тогда попытка поглощения провалилась. По условиям заключенного теперь соглашения, которое одобрено советом директоров Darktrace, акционеры британского разработчика получат $7,75 за одну ценную бумагу. Это представляет собой премию в размере 44,3 % к средневзвешенной цене акций Darktrace за трёхмесячный период, закончившийся 25 апреля 2024 года.

Сделка будет завершена в III или IV квартале 2024 года после получения необходимых разрешений со стороны регулирующих органов. После этого Darktrace превратится в частную компанию и уйдёт с Лондонской фондовой биржи, где, по её мнению, стоимость акций была ниже ожидаемой с момента листинга в 2021 году. Ожидается, что штаб-квартира Darktrace останется в Великобритании.

Компания Google, по сообщению Datacenter Dynamics, развернёт новый кампус ЦОД в Форт-Уэйне на территории Индианы (США). Стоимость проекта с кодовым названием Zodiac, технические подробности о котором пока не раскрываются, оценивается в $2 млрд.

Инициатива предусматривает строительство 12 объектов на площади приблизительно 283 га. В рамках проекта Google будет сотрудничать с компанией Indiana Michigan Power Company (I&M) по направлению чистой энергии, которую планируется поставлять в локальную энеросеть. Детали партнёрства с I&M не разглашаются.

Источник изображения: Google

Форт-Уэйн расположен к северо-востоку от Индианаполиса, к востоку от Чикаго и к западу от Колумбуса. Как отметила мэр Форт-Уэйна Шэрон Такер (Sharon Tucker), инвестиции Google не только помогут в расширении IT-инфраструктуры и экономическом развитии региона, но и «обеспечат более устойчивое будущее».

Google на сегодняшний день оперирует более чем десятью кампусами дата-центров в США, а ряд дополнительных площадок находятся на этапе строительства. В частности, летом 2023 года компания начала создание ЦОД в Месе, пригороде Финикса (штат Аризона). Стоимость этого проекта составляет около $1 млрд.

Нужно отметить, что объекты в Индиане есть у многих других операторов дата-центров и облачных провайдеров. В их число входят Meta✴, US Signals, DataBank, Netrality и Digital Crossroads. А буквально на днях о строительстве в Индиане кампуса ЦОД стоимостью $11 млрд объявила Amazon Web Services (AWS).

Компания Amazon и губернатор Индианы Эрик Холкомб (Eric J. Holcomb), по сообщению Datacenter Dynamics, анонсировали проект создания на территории этого штата крупного комплекса дата-центров. Инвестиции в проект оцениваются в $11 млрд, что станет крупнейшими капитальными вложениями в истории Индианы.

Технические подробности об инициативе не раскрываются. Но известно, что объекты ЦОД расположатся в округе Сент-Джозеф на севере центральной Индианы. Говорится, что в 2023 году облачная платформа Amazon Web Services (AWS) купила в названном регионе более 364 га сельскохозяйственных земель через фирму Razor5. Именно на этой территории и планируется возведение сооружений.

Как отмечается, кампус построят неподалёку от города Нью-Карлайла (расположен примерно в 130 км к востоку от Чикаго). По словам Холкомба, инвестиции в проект окажут положительное влияние на развитие региона «на многие годы вперёд». В частности, будут созданы дополнительные рабочие места. Кроме того, появление кампуса ЦОД будет способствовать расширению технологического сектора штата.

Источник изображения: AWS

Amazon в рамках проекта получила ряд налоговых льгот. Корпорация экономического развития Индианы (IEDC) предоставит AWS освобождение от налога с продаж для соответствующих капитальных вложений на срок 50 лет. Кроме того, IEDC обеспечит до $18,3 млн в виде налоговых льгот на персонал, до $5 млн в виде грантов на обучение, до $20 млн льгот на реконструкцию и пр.

Отметим, что по итогам 2023 года AWS управляла 3,549 млн м² площадей дата-центров и офисов. Облачная платформа продолжает активно развивать направление ЦОД. В ближайшие 15 лет Amazon планирует потратить почти $150 млрд на дата-центры, что позволит ей справиться с ожидаемым взрывным ростом спроса на ИИ и другие цифровые сервисы.