Окриджская национальная лаборатория (ORNL) Министерства энергетики США (DOE) объявила о создании Института дата-центров следующего поколения (NGDCI). Это подразделение объединит опыт и ресурсы лаборатории в области энергетических технологий, HPC и кибербезопасности для решения проблем, с которыми сталкиваются современные ИИ ЦОД. Речь идёт прежде всего о дефиците электроэнергии и стремительном увеличении нагрузки на энергосистему.

На дата-центры, по оценкам, приходится более 4 % потребления электроэнергии в США. Согласно прогнозам Научно-исследовательского института электроэнергетики (EPRI), к 2030-му этот показатель может увеличиться до 17 %. Значительная часть роста обусловлена рабочими нагрузками ИИ: например, для обучения одной большой языковой модели (LLM) с огромным количеством параметров требуются сотни МВт·ч. Быстро повышающийся спрос со стороны ИИ и промышленных потребителей создаёт всё большие риски для надёжности энергосистемы.

Источник изображения: ORNL

Кроме того, растут инвестиции в области ЦОД. По оценкам McKinsey, к 2030 году глобальные расходы на соответствующую инфраструктуру достигнут $7 трлн, причём более 40 % из них придётся на США. Директор ORNL Стивен Стрейффер (Stephen Streiffer) отмечает, что на фоне быстрого развития дата-центров всё более остро встают вопросы надёжного энергоснабжения и эффективного охлаждения. Специалистам NGDCI предстоит помочь в решении назревших проблем.

Новый институт будет развивать интегрированный подход, предполагающий объединение технологий электропитания, охлаждения, терморегулирования, планирования рабочих нагрузок и прогнозирования с использованием ИИ. При этом планируется использовать наработки другого проекта ORNL — MEGA-DC (Modeling Energy Growth Associated with Data Centers): это платформа поддержки принятия решений с учётом множества критериев, которая моделирует и прогнозирует затраты и экономические выгоды от модернизации инфраструктуры. В целом, NGDCI сосредоточит работу на шести ключевых направлениях:

• Тепловое регулирование — системы охлаждения нового поколения, обеспечивающие снижение энергопотребления и расхода воды, на которые сегодня может приходиться 40–60% от общих затрат ЦОД;
• Изменение архитектуры энергосистемы — переосмысление использования ресурсов и интеграция новых силовых электронных устройств для снижения потерь;
• Управление операциями и нагрузкой — интеллектуальные автономные платформы для оптимизации задач и энергопотребления;
• Безопасность — внедрение принципов кибербезопасности и квантово-устойчивых коммуникаций в физическую и цифровую структуру ЦОД;
• Интеграция в энергосеть — проектирование дата-центров, которые стабилизируют, а не перегружают энергосистему;
• Моделирование интегрированных систем — прогнозирование влияния инфраструктуры ИИ на энергетику, рабочие места, материалы и пр.

Министерство энергетики США (DOE) заключило с AMD контракт стоимостью $1 млрд с целью строительства двух суперкомпьютеров HPE для решения масштабных научных задач в области ядерной энергетики, здравоохранения и национальной безопасности.

Источник изображений: HPE

Министр энергетики Крис Райт (Chris Wright) сообщил агентству Reuters, что создание HPC-систем даст мощный импульс развитию ядерной и термоядерной энергетики, оборонных технологий и национальной безопасности, а также разработке лекарственных препаратов. Учёные и компании пытаются воспроизвести термоядерный синтез, который, в том числе, подпитывает солнечную энергию. «Мы добились значительного прогресса, но плазма нестабильна, и нам необходимо воссоздать центр Солнца на Земле», — заявил Райт.

Он выразил уверенность, что ИИ-системы позволят открыть практические пути для использования энергии термоядерного синтеза в ближайшие два-три года, а также помогут управлять ядерным арсеналом США и ускорить разработку лекарств, моделируя способы лечения рака вплоть до молекулярного уровня. «Я надеюсь, что в ближайшие пять-восемь лет мы превратим большинство видов рака, многие из которых сегодня являются смертным приговором, в контролируемые состояния», — сказал Райт.

Первым планируется запустить в эксплуатацию в течение следующих шести месяцев суперкомпьютер Lux с облачным доступом. Он будет основан на узлах HPE ProLiant Compute XD685 с СЖО, которые объединяют ИИ-ускорителях Instinct MI355X, CPU AMD EPYC, а также DPU Pensando. Система разработана AMD совместно с HPE, Oracle (OCI) и Ок-Риджской национальной лабораторией (ORNL). Глава AMD Лизу Су (Lisa Su) сообщила, что запуск Lux будет самым быстрым развёртыванием суперкомпьютера таких размеров в её практике. «Именно такой скорости и гибкости мы хотели бы добиться для программ США в области ИИ искусственного интеллекта», — сказала она. По словам директора ORNL, Lux будет обладать примерно в три раза большей вычислительной мощностью по сравнению с существующими системами.

Второй, более продвинутый суперкомпьютер под названием Discovery станет преемником экзафлопсной машины Frontier в ORNL и будет практически на порядок быстрее её. Его разработкой занимаются ORNL, HPE и AMD. Discovery будет основан на платформе HPE Cray Supercomputing GX5000, поддерживающей до 25 кВт на узел и охлаждение водой с температорой +40 °C. Узлы получат процессоры AMD EPYC Venice, которые, как ожидается, появятся во II половине 2026 года, а также специализированные ускорители Instinct MI430X с полноценной поддержкой FP64-вычислений — они также должны появиться в следующем году. Для интерконнекта будет задействован HPE Slingshot следующего поколения, сроки выхода которого не называются.

Discovery получит новейшую СХД Cray SC Storage Systems K3000 с объектным хранилищем DAOS, которое дополнит имеющуюся СХД на базе Cray SC Storage Systems E2000 с Lustre. Ранее HPE наняла инженеров, занимавшихся разработкой DAOS в Intel, и включила их в свою команду по работе над СХД. По словам HPE, K3000 предложит до 75 млн IOPS на стойку. HPE не раскрывает, сколько узлов, процессоров и ускорителей будет использоваться в Discovery, а также какой объём памяти будет у системы. Ожидается, что Discovery будет поставлен в 2028 году и готов к эксплуатации в 2029 году. Оценочная стоимость системы — $500 млн.

Министерство энергетики США разместит суперкомпьютеры, компании предоставят оборудование и средства на капитальные затраты, а вычислительные мощности будут распределены между обеими сторонами, сообщил представитель министерства. Он отметил, что эти суперкомпьютеры на базе чипов AMD станут первыми в ряду подобных партнёрств министерства с частными компаниями в стране. По аналогичной схеме будет финансироваться создание ИИ-суперкомпьютера Solstice.