Cerebras Systems совместно с Сандийскими национальными лабораториями (SNL) Министерства энергетики США (DOE) провели успешный эксперимент по обучению ИИ-модели с 1 трлн параметров с использованием единственной системы CS-3 с царь-ускорителем WSE-3 и 55 Тбайт внешней памяти MemoryX.

Обучение моделей такого масштаба обычно требует тысяч ускорителей на базе GPU, потребляющих мегаватты энергии, участия десятков экспертов и недель на наладку аппаратного и программного обеспечения, говорит Cerebras. Однако учёным SNL удалось добиться обучения модели на единственной системе без внесения изменений как в модель, так и в инфраструктурное ПО. Более того, они смогли добиться и практически линейного масштабирования — 16 систем CS-3 показали 15,3-кратный прирост скорости обучения.

Источник изображения: Cerebras

Модель такого масштаба требует терабайты памяти, что в тысячи раз больше, чем доступно отдельному GPU. Другими словами, классические кластеры из тысяч ускорителей необходимо корректно подключить друг к другу ещё до начала обучения. Системы Cerebras для хранения весов используют внешнюю память MemoryX на базе 1U-узлов с самой обычной DDR5, благодаря чему модель на триллион параметров обучать так же легко, как и малую модель на единственном ускорителе, говорит компания.

Ранее SNL и Cerebras развернули кластер Kingfisher на базе систем CS-3, который будет использоваться в качестве испытательной платформы при разработке ИИ-технологий для обеспечения национальной безопасности.

Национальный научный фонд правительства США (NSF) исследует возможность прокладки кабеля, соединяющего Антарктиду с Новой Зеландией или Австралией. Кабель предложено протянуть до станции Мак-Мердо — крупнейшего исследовательского центра по изучению Антарктики, сообщает Datacenter Dynamics.

Хотя основной задачей будет обеспечение станции высокоскоростной связью с малой задержкой, кабель будет снабжён различными датчиками и сенсорами, что позволит впервые провести новые исследования, связанные с самыми разными дисциплинами. Особый интерес уже высказали сейсмологи. Речь идёт о кабеле класса SMART (Science Monitoring and Reliable Telecommunications).

Фонд уже сформировал технико-экономическое обоснование прокладки кабеля и опубликовал. запрос на информацию, призывающий заинтересованные стороны откликнуться до середины января 2025 года с собственными соображениями относительно инициативы. Запрашиваются сведения о необходимых для включения в кабель сенсоров, местах разветвления кабеля, перспективных методах оптоволоконного зондирования и т.п.

Источник изображения: Derek Oyen/unsplash.com

Согласно выкладкам NSF, маршрут из Новой Зеландии, вероятно, предпочтительнее, поскольку он на 1,5 тыс. км короче, чем путь до Австралии, дешевле, безопаснее и охватывает больше регионов, представляющих научный интерес. Что касается коммерческих кабелей, в обозримом будущем Антарктика, вероятно, останется зоной, свободной от них — отсутствуют очевидные экономические выгода от прокладки новых цифровых маршрутов в регионе.

Тем временем на Крайнем Севере разрабатываются несколько кабельных маршрутов, включая Far North Fiber на Аляске и Polar Connect. Последний предполагает прокладку части кабеля через ледяной щит Северного полюса. Оба маршрута предполагают обеспечение связью США, Европы и Азии через Северный морской путь.

Не так давно Евросоюз выделил инициативе Polar Connect €4 млн на картографирование Северного Ледовитого океана. Такие меры необходимо принять перед прокладкой новых магистралей. Эксплуатация в этих водах довольно рискованна. Например, в прошлом году арктический лёд порвал одну из подобных магистралей.

Google попросила Федеральную торговую комиссию США (FTC) разорвать эксклюзивное облачное соглашение Microsoft с OpenAI, в рамках которого разработчик ИИ-чат-бота ChatGPT использует её облачную инфраструктуру для функционирования своих сервисов и других задач, сообщил ресурс The Information.

Просьба Google поступила после того, как FTC запросила у неё отзыв о деловой практике Microsoft в рамках более широкого расследования, касающегося лицензирования софтверным гигантом ПО, а также облачных вычислений, предложений по обеспечению кибербезопасности и услуг ИИ.

По словам Google, соглашение о партнёрстве Microsoft и OpenAI, которое позволяет Microsoft быть единственным поставщиком облачных сервисов, размещающим передовые модели OpenAI, создает значительные рыночные барьеры и потенциально увеличивает затраты для клиентов облачных сервисов, желающих получить доступ к передовым технологиям ИИ

То, что Microsoft является крупнейшим инвестором OpenAI, вложившим в неё более $13 млрд, объясняет столь тесное сотрудничество двух компаний, но другим технологическим компаниям, которые конкурируют с Microsoft на облачном рынке, таким как Google и Amazon, тоже хотелось бы размещать у себя в облаке модели OpenAI, чтобы их облачным клиентам не нужно было обращаться к услугам Microsoft для получения доступа к технологии стартапа, говорится в публикации The Information.

Источник изображения: OpenAI

Ведущие игроки считают, что нынешнее эксклюзивное соглашение ограничивает конкуренцию на облачном рынке и выбор клиентов. Как утверждают источники ресурса, компании, которые приобретают технологию OpenAI через Microsoft, могут столкнуться с дополнительными расходами, если они не используют решения Microsoft для своей работы. Google и другие участники рынка отметили, что такой подход к ценообразованию может навредить клиентам и ограничить доступ к ИИ-технологиям.

Компания Google вкладывает средства в строительство энергетических мегапарков для получения возобновляемой энергии — IT-гигант стремится обеспечить электричеством свои ЦОД. В частности, он заключил партнёрское соглашение с независимым производителем энергии Intersect Power. Также в сделке участвует инвестиционная TPG Rise Climate LP, сообщает Bloomberg.

Консорциум займётся проектированием и строительством крупных энергетических комплексов рядом с кампусами ЦОД, которые будут включать возобновляемые источники энергии, энергохранилища и сопутствующую инфраструктуру передачи энергии на несколько гигаватт. Это обойдётся приблизительно в $20 млрд.

Для поддержки проекта Google также инвестировала и в акционерный капитал Intersect Power. TPG возглавила раунд финансирования, в котором помимо Google приняли участие CAI и Greenbelt Capital Partners. Всего привлечено $800 млн. Новые инвестиции помогут Intersect получить дополнительные заёмные средства на строительство энергетических мощностей.

Источник изображения: Intersect Power

План Google заключается в постройке ЦОД и новых энергетических мощностей таким образом, чтобы те подключались к одним и тем же подстанциям. Это должно помочь ускорить их ввод в эксплуатацию. В Google сообщают, что компания намерена оплатить 100 % расходов на модернизацию энергосетей для этих проектов. По оценкам партнёров, кампусу ИИ ЦОД на 1 ГВт потребуется по 1 ГВт солнечных и ветряных мощностей, а также 1-ГВт энергохранилище, способное проработать два-четыре часа — всё это на площади более 4 тыс. га.

Энергетические парки станут альтернативой стареющим электросетям США, которые с трудом справляются с потребностями ИИ ЦОД и параллельным электроснабжением домов, транспорта и промышленности. Google, Microsoft и AWS, а также другим крупным операторам ЦОД необходимы многомиллиардные инвестиции для удовлетворения потребностей ИИ в энергии. Все, включая Google, присматриваются к малым модульным реакторам, но они заработают не раньше 2030-х годов.

По данным пресс-службы Intersect, компания будет строить новые мощности по выработке чистой энергии, а Google станет её якорным клиентом. Таким образом, запросы Google будут полностью соответствовать доступным мощностям. Сейчас Intersect привлекает заемные средства для своего первого проекта с Google, который планируется к вводу в эксплуатацию в 2026 году. Параметры и местоположение проекта компании пока не раскрывают.

Китайский антимонопольный регулятор начал расследование в отношении NVIDIA. Вероятно, главной причиной является желание дать ответ на решение властей США снова ужесточить ограничения на поставку чипов в Китай, сообщает гонконгское издание SCMP. В NVIDIA не спешат комментировать ситуацию. На фоне новостей акции компании незначительно упали на торгах в понедельник.

NVIDIA, соблюдающая американские законы, касающиеся ограничений поставок передовых чипов в КНР, подозревается китайскими регулятором в нарушении антимонопольных законов при покупке израильской компании Mellanox Technologies. Об этом в понедельник заявила китайская Государственная администрация по регулированию рынка.

Сделка NVIDIA-Mellanox стоимостью $6,9 млрд была анонсирована в 2019 году. Китайский регулятор одобрил поглощение в апреле 2020-го с условием, что ускорители NVIDIA, сетевые решения Mellanox и сопутствующее ПО будут поставляться в КНР на «честных, разумных и недискриминационных принципах».

Источник изображения: NVIDIA

Антимонопольное расследование китайских регуляторов рассматривается некоторыми экспертами как начало реализации систематической «стратегии возмездии». Расследование называют предвестником более жёстких мер. Некоторые даже называют его не вопросом регуляций, а «геополитическим манёвром» — Китай посылает сообщение Вашингтону и, похоже, не намерен отступать.

Принятые Пекином меры последовали всего через несколько дней после того, как поддерживаемые властями КНР промышленные ассоциации призвали своих участников с осторожностью покупать американские чипы. Например, Китайская ассоциация полупроводниковой промышленности (China Semiconductor Industry Association), в которую входит и подразделение NVIDIA Technical Service (Пекин), призвала своих участников избегать покупки чипов у американских поставщиков, заявив, что они «не безопасны не надёжны».

Ирония в том, что деятельность NVIDIA расследует Министерство юстиции и в самих США, сообщает Datacenter Dynamics. Интерес к делам компании проявляет и французский антимонопольный регулятор, а также антимонопольное ведомство Евросоюза в целом.

Разработчик малых модульных реакторов (SMR) Terrestrial Energy подписал меморандум о взаимопонимании с Energy Solutions. По данным пресс-службы компании, партнёры достигли предварительного соглашения о развёртывании интегрированных реакторов на расплавах солей (IMSR) в США — их разместят на площадках EnergySolutions. Первые реакторы Terrestrial намерена ввести в эксплуатацию в начале 2030-х годов.

Как заявили партнёры, подписание меморандума обусловлено ростом интереса к рынку SMR, в первую очередь, со стороны ИИ ЦОД и некоторых секторов промышленности, находящихся в поиске решений в области «чистой» энергии. В 2023 года Energy Solutions приобрела три площадки для изучения возможности установки на них ISMR суммарной мощностью несколько гигаватт. Среди них есть и выведенная из эксплуатации АЭС Kewaunee в штате Висконсин.

IMSR представляют собой реакторы поколения IV. Считается, что они намного эффективнее решений прошлых поколений, однако их системы охлаждения недостаточно долго тестировались в реальных условиях, из-за чего пока не вполне понятны перспективы их масштабируемости в долгосрочной перспективе.

Источник изображения: Terrestrial Energy

В 2024 году Terrestrial Energy подписала ещё один меморандум о взаимопонимании со Schneider Electric для поддержки разработки ISMR на 190 МВт. В текущем году соглашения о поставке SMR подписали несколько крупных операторов ЦОД, что только подогрело интерес к технологии. Например, поддерживаемая Сэмом Альтманом (Sam Altman) компания Oklo заключила соглашения с Equinix и Prometheus о поставке SMR на 500 МВт и 100 МВт соответственно, а в прошлом месяце с двумя нераскрытыми партнёрами из числа операторов ЦОД достигнута договорённость о поставке до 750 МВт.

В октябре AWS заключила с Energy Northwest, X-Energy и Dominion Virginia соглашения о поддержке развёртывания SMR общей мощностью более 600 МВт в Вашингтоне и Вирджинии. Google также подписала соглашение о покупке энергии от нескольких малых реакторов у Karios Power, их должны ввести в эксплуатацию в 2030 году.

На днях Meta✴ объявила о намерении построить свой самый крупный дата-центр стоимостью $10 млрд в Луизиане (США). По данным Silicon Angle, объект станет крупнейшим дата-центром компании. Строительство кампуса Franklin Farm (Hyperion) начнётся уже в декабре и продлится до 2030 года. Инфраструктура, включая сетевое оборудование и серверы, будет изначально оптимизирована для ИИ-нагрузок. Общая площадь кампуса составит чуть более 900 га, площадь строений более 370 тыс. м2.

Власти Луизианы заявили, что постройка кампуса ЦОД обеспечит регион новыми технологическими возможностями. В Meta✴ объявили, что помимо создания рабочих мест компания инвестирует $200 млн и в совершенствование местной инфраструктуры, в т.ч. в дороги и системы водоснабжения. После запуска ЦОД стартует и программа грантов Community Action Grants для организации партнёрских связей с местными школами и организациями — кузницей будущих кадров для компании. В ходе строительства будет задействовано более 5 тыс. рабочих, а после окончания штат ЦОД составит около 500 человек.

Источник изображения: Meta✴

Как подметили в The Next Platform, рендер кампуса очень напоминает AMD EPYC. И это не случайность — вычислительные «чиплеты»-здания расположены вокруг центрального «IO-хаба». Современные ИИ-кластеры действительно состоят из отдельных т.н. «островов», внутри которых скорость обмена данными и связность гораздо выше, чем за их пределами. Здания справа вверху могут выполнять некие функции хранения данных. «Зелёные зоны» в окружении деревьев, вероятно — пруды для хранения воды для охлаждения.

Для своего кампуса Meta✴ пообещала использовать на 100 % «чистую» и возобновляемую энергию. Правда, обольщаться на этот счёт не стоит. Компания будет выкупать «зелёную» энергию где-то ещё, а вот сам 1,5-ГВт кампус будет запитан от строящейся поблизости газовой электростанции Entergy общей мощностью 2,2 ГВт. В отчёте об устойчивом развитии Meta✴ объявила, что в 2023 году располагала контрактами на 11,7 ГВт возобновляемой энергии для компенсации потребления своих ЦОД, 6,7 ГВт из которой приходилось на США. Общемировое энергопотребление Meta✴ превышает 12 ГВт, но компания намерена получить ещё 1–4 ГВт от АЭС к концу десятилетия.

Источник изображения: Meta✴

Также Meta✴ объявила, что намерена свести к минимуму потребление воды новым ЦОД. По данным NPR, средний дата-центр требует более 1135 м³ воды в день — столько же потребляют 1 тыс. домохозяйств США. В Meta✴ обещают, что проекты «восстановления» воды в Луизиане позволят получать в результате деятельности компании больше пресной воды, чем она будет тратить сама. Правда, куда будет деваться осадок после очистки вод дата-центра, пока не уточняется.

По предварительным оценкам, из $10 млрд инвестиций около половины придётся на ИИ-ускорители. При средней цене в районе $25 тыс. речь может идти о 200 тыс. ИИ-ускорителей. Если же Meta✴ задействуют ускорители MTIA собственной разработки, которые вдвое дешевле сторонних, речь может идти уже о 400 тыс. На фоне планов xAI расширить ИИ-кластер Colossus со 100 тыс. ускорителей NVIDIA до 1 млн проект Franklin Farm смотрится скромно. Впрочем, как выяснилось, для обучения модели Llama-4 уже используются более 100 тыс. NVIDIA H100.

Стартап xAI, курируемый Илоном Маском (Elon Musk), планирует на порядок расширить свой ИИ-кластер Colossus в Мемфисе (Теннесси, США), включающий в настоящее время 100 тыс. NVIDIA H100. Как пишет HPCwire, об этом заявил Брент Майо (Brent Mayo), старший менеджер xAI по строительству объектов и инфраструктуры.

По словам Майо, стартап уже приступил к работам по расширению ИИ-кластера до не менее чем 1 млн ускорителей совместно с NVIDIA, Dell и Supermicro. Для содействия проекту xAI была создана оперативная группа под руководством главы Торговой палаты Мемфиса Теда Таунсенда (Ted Townsend), готовая оказать помощь в решении проблем в любое время суток. Проект знаменует собой крупнейшее капиталовложение в истории региона.

Заявление о старте работ над расширением ИИ-кластера последовало после появления сообщений о том, что xAI удалось привлечь ещё $6 млрд инвестиций. Новые вливания могут увеличить оценку рыночной стоимости стартапа до $50 млрд. Точные цифры будут объявлены немного позже.

Источник изображения: Supermicro

Colossus используется для обучения моделей ИИ для чат-бота Grok, разработанного xAI, который уступает по возможностям и аудитории лидеру рынка OpenAI ChatGPT, а также Google Gemini. Стартап выпустил свою первую большую языковую модель Grok-1 в конце 2023 года, в апреле 2024 года вышла модель Grok-1.5, а Grok-2 — в августе.

Colossus был построен в рекордные сроки — всего за три месяца. Гендиректор NVIDIA, Дженсен Хуанг (Jensen Huang), заявил, что «в мире есть только один человек, который мог бы это сделать». Хуанг назвал Colossus «несомненно самым быстрым суперкомпьютером на планете, если рассматривать его как один кластер», отметив, что ЦОД такого размера обычно строится три года.

Активисты из числа жителей Мемфиса раскритиковали проект из-за повышенной нагрузки на местные энергосети и требований, которые ИИ-кластер предъявляет к региональной энергосистеме. «Мы не просто лидируем; мы ускоряем прогресс беспрецедентными темпами, обеспечивая при этом стабильность энергосети, используя Megapack», — заявил в ответ Брент Майо на мероприятии в Мемфисе, пишет Financial Times.

Компания OpenAI намерена построить собственные дата-центры в США в рамках плана по привлечению к своим сервисам 1 млрд пользователей и дальнейшей коммерциализации своих технологий. По словам представителя OpenAI, компания намерена получить в своё распоряжение ЦОД как для обучения, так и для инференса, сообщает Financial Times.

По словам представителя компании, «чипы, данные и энергия» станут ключевыми факторами, которые помогу компании выиграть в гонке ИИ-технологий и создать AGI, потенциально соответствующий возможностям человеческого мозга или даже превосходящий его.

OpenAI намерена построить кластеры ЦОД на Среднем Западе и юго-востоке США. Подробности пока не разглашаются, но подтверждается, что строительство дата-центров является частью стратегии коммерциализации ИИ-технологий компании. В своё время OpenAI была основана как некоммерческая организация, но теперь переходит к более традиционной для бизнеса корпоративной структуре. Как сообщает Financial Times, компания наняла своего первого главу по финансам и продуктам и теперь якобы рассматривает возможности интеграции рекламы в свои решения.

Источник изображения: Caspar Camille Rubin/unsplash.com

Что касается действующей цифровой инфраструктуры OpenAI, которая ранее в этом году привлекла ещё $6,6 млрд, в основном полагается на дата-центры Microsoft Azure — именно Microsoft вложила в стартап миллиарды долларов. Недавно компания начала посматривать и на других облачных провайдеров, а в июне анонсировала партнёрство с Oracle, в рамках которого Oracle Cloud Infrastructure будет задействована для обучения ИИ-моделей (правда, тоже при посредничестве Microsoft). Запросы компании превышают мощности, которые способна предоставить ей Microsoft.

Не так давно OpenAI пыталась убедить правительство США в необходимости создания 5-ГВт дата-центров, способных вместить сразу 2 млн ускорителей. Компания заявила, что это уже вопрос национальной безопасности, и даже подготовила целый ряд рекомендаций.

AWS рассказала об инновациях, внедряемых в её ЦОД для поддержки ИИ-нагрузкок следующего поколения. По данным DataCenter Dynamics, нововведения связаны в первую очередь с электропитанием и охлаждением. Они направлены на повышение энергоэффективности дата-центров AWS. Первые ЦОД на базе новой архитектуры заработают в начале 2025 года.

Новые решения в свежих новых дата-центрах компании по всему миру, а некоторые начнут применять уже на существующих объектах. В компании подчёркивают, что решения изначально спроектированы как модульные, поэтому возможная поэтапная модернизация площадок для внедрения СЖО, повышения энергоэффективности и снижения углеродного следа. Так, AWS упростит электрическую и механическую структуру новых ЦОД, чтобы облегчит их обслуживание и повысить надёжность.

В частности, упростится подход к распределению энергии внутри ЦОД, а источники резервного питания будут размещаться ближе к стойкам. Это позволит повысить доступность инфраструктуры до 99,9999 % времени, а количество стоек, которых могут коснуться проблемы с энергоснабжением, снизится на 89 %. Также уменьшится количество вентиляторов для отвода горячего воздуха. Вместо этого будет применяться естественный перепад давления, что положительно скажется на энергопотреблении. Вместе с тем AWS намерено вшестеро увеличить мощность стойки в следующие два года, и ещё втрое — в будущем.

Впрочем, в ИИ-серверах, где мощность ускорителей приближается к 1 кВт, без СЖО обойтись сложно. AWS готовит суперкластеры Project Rainier и Project Ceiba на базе AWS Tranium2 и NVIDIA Blackwell соответственно, поэтому она вместе с крупным производителем СЖО будет внедрять прямое жидкостное охлаждение и в новых, и в старых ЦОД. В некоторых случаях будет использоваться и гибридное охлаждение. Одним из главных плюсов новой архитектуры охлаждения является гибкость — акцент на воздушное или жидкостное охлаждение будет делаться в зависимости от потребностей оборудования и возможностей конкретных дата-центров.

Источник изображений: AWS

Заодно AWS использовала имеющиеся данные и генеративный ИИ для поиска наиболее эффективного способа размещения стоек в своих ЦОД, добавив ещё 12 % вычислительных мощностей на каждую площадку. Новая технология будет применяться как к новому оборудованию для ИИ-систем, так и для других типов техники. Также компания внедрила собственную систему управления механическими и электрическими устройствами — она поможет стандартизировать мониторинг и эксплуатацию дата-центров.

Наконец, предприняты усилия по повышению экобезопасности дата-центров. AWS заявила, что новая архитектура охлаждения снизит потребление энергии на 46 % во времена пиковых нагрузок без увеличения потребления воды. Доля углеродных выбросов при производстве бетона, используемого при строительстве ЦОД, уменьшена на 35 % относительно средней по отрасли, кроме того, на 35 % сокращается потребление стали в целом, а та, что используется, поступает из электродуговых печей, а не газовых, что сокращает косвенные выбросы. Наконец, резервные генераторы AWS переведут на возобновляемое дизельное топливо.

Дополнительно AWS совместно с Orbital Materials запустила пилотный проект по тестированию разработанного с помощью ИИ материала, помогающего захватывать в дата-центрах углекислый газ — речь идёт о «губке на атомном уровне», взаимодействующей только с молекулами углекислоты. Тестирование материала, три года разрабатывавшегося компаниями, начнётся в начале 2025 года. По данным Orbital, новый материал значительно дешевле аналогов. В дальнейшем стартап планирует испытать разработанные с помощью ИИ технологии для экономии воды и охлаждения чипов.

DataCenter Dynamics также отмечает, что AWS впервые раскрыла показатель PUE своих дата-центров. В среднем он составляет 1,15, а самая лучшая площадка достигла 1,04. Для сравнения: у Google эти показатели составляют 1,1 и 1,06 соответственно, у Microsoft — 1,18 и 1,12 (у новых объектов). ЦОД Meta✴ в среднем имеют PUE около 1,08, а Oracle говорит об 1,15.