На днях Meta✴ объявила о намерении построить свой самый крупный дата-центр стоимостью $10 млрд в Луизиане (США). По данным Silicon Angle, объект станет крупнейшим дата-центром компании. Строительство кампуса Franklin Farm начнётся уже в декабре и продлится до 2030 года. Инфраструктура, включая сетевое оборудование и серверы, будет изначально оптимизирована для ИИ-нагрузок. Общая площадь кампуса составит чуть более 900 га, площадь строений более 370 тыс. м².

Власти Луизианы заявили, что постройка кампуса ЦОД обеспечит регион новыми технологическими возможностями. В Meta✴ объявили, что помимо создания рабочих мест компания инвестирует $200 млн и в совершенствование местной инфраструктуры, в т.ч. в дороги и системы водоснабжения. После запуска ЦОД стартует и программа грантов Community Action Grants для организации партнёрских связей с местными школами и организациями — кузницей будущих кадров для компании. В ходе строительства будет задействовано более 5 тыс. рабочих, а после окончания штат ЦОД составит около 500 человек.

Источник изображения: Meta✴

Как подметили в The Next Platform, рендер кампуса очень напоминает AMD EPYC. И это не случайность — вычислительные «чиплеты»-здания расположены вокруг центрального «IO-хаба». Современные ИИ-кластеры действительно состоят из отдельных т.н. «островов», внутри которых скорость обмена данными и связность гораздо выше, чем за их пределами. Здания справа вверху могут выполнять некие функции хранения данных. «Зелёные зоны» в окружении деревьев, вероятно — пруды для хранения воды для охлаждения.

Для своего кампуса Meta✴ пообещала использовать на 100 % «чистую» и возобновляемую энергию. Правда, обольщаться на этот счёт не стоит. Компания будет выкупать «зелёную» энергию где-то ещё, а вот сам 1,5-ГВт кампус будет запитан от строящейся поблизости газовой электростанции Entergy общей мощностью 2,2 ГВт. В отчёте об устойчивом развитии Meta✴ объявила, что в 2023 году располагала контрактами на 11,7 ГВт возобновляемой энергии для компенсации потребления своих ЦОД, 6,7 ГВт из которой приходилось на США. Общемировое энергопотребление Meta✴ превышает 12 ГВт, но компания намерена получить ещё 1–4 ГВт от АЭС к концу десятилетия.

Источник изображения: Meta✴

Также Meta✴ объявила, что намерена свести к минимуму потребление воды новым ЦОД. По данным NPR, средний дата-центр требует более 1135 м³ воды в день — столько же потребляют 1 тыс. домохозяйств США. В Meta✴ обещают, что проекты «восстановления» воды в Луизиане позволят получать в результате деятельности компании больше пресной воды, чем она будет тратить сама. Правда, куда будет деваться осадок после очистки вод дата-центра, пока не уточняется.

По предварительным оценкам, из $10 млрд инвестиций около половины придётся на ИИ-ускорители. При средней цене в районе $25 тыс. речь может идти о 200 тыс. ИИ-ускорителей. Если же Meta✴ задействуют ускорители MTIA собственной разработки, которые вдвое дешевле сторонних, речь может идти уже о 400 тыс. На фоне планов xAI расширить ИИ-кластер Colossus со 100 тыс. ускорителей NVIDIA до 1 млн проект Franklin Farm смотрится скромно. Впрочем, как выяснилось, для обучения модели Llama-4 уже используются более 100 тыс. NVIDIA H100.

Сервис-провайдер «РТК-ЦОД» (дочерняя компания «Ростелекома», предоставляющая услуги дата-центров и облачных услуг) сообщил о запуске системы видеоконференцсвязи, развёрнутой на базе отечественного программного обеспечения MINT.

Новое решение входит в состав «Публичного облака» компании и предназначено для организации безопасных корпоративных коммуникаций. Сервис поддерживает групповые и индивидуальные чаты, различные типы конференций (совещания, вебинары, видеозвонки), обмен файлами, трансляцию видеопотока на сторонние ресурсы. В составе программного комплекса представлены средства планирования виртуальных встреч, настройки защищённого доступа (пароль, комната ожидания, шифрование), демонстрации экрана и записи конференций, инструменты для проведения голосований и опросов, а также возможность добавления роли синхронного переводчика. Подключиться к системе видеоконференцсвязи можно при помощи любого браузера в средах Windows, macOS, Linux либо посредством мобильных приложений для Android и iOS. Сервис зарегистрирован в реестре российского ПО, соответствует требованиям регуляторов и совместим с отечественными ОС.

Источник изображения: MINT / mintconf.ru

Сервис доступен в двух моделях использования. Первая модель основывается на общей инфраструктуре и предназначена для компаний с базовыми требованиями к информационной безопасности, подразумевая самостоятельное администрирование. Второй вариант предлагает выделенные виртуальные серверы для одного заказчика и подходит для организаций с повышенными требованиями к защите данных, при этом включает администрирование со стороны технической поддержки «РТК-ЦОД».

По словам «РТК-ЦОД», сервис видеоконференций является важной частью «Публичного облака», которое представляет собой единое облачное решение, интегрирующее облачные инфраструктуры, продукты и процессы компаний, входящих в кластер сервисного провайдера. На сегодняшний день «Публичное облако» включает более 40 востребованных облачных сервисов — от виртуальной инфраструктуры до офисных приложений и решений в области информационной безопасности.

Стартап xAI, курируемый Илоном Маском (Elon Musk), планирует на порядок расширить свой ИИ-кластер Colossus в Мемфисе (Теннесси, США), включающий в настоящее время 100 тыс. NVIDIA H100. Как пишет HPCwire, об этом заявил Брент Майо (Brent Mayo), старший менеджер xAI по строительству объектов и инфраструктуры.

По словам Майо, стартап уже приступил к работам по расширению ИИ-кластера до не менее чем 1 млн ускорителей совместно с NVIDIA, Dell и Supermicro. Для содействия проекту xAI была создана оперативная группа под руководством главы Торговой палаты Мемфиса Теда Таунсенда (Ted Townsend), готовая оказать помощь в решении проблем в любое время суток. Проект знаменует собой крупнейшее капиталовложение в истории региона.

Заявление о старте работ над расширением ИИ-кластера последовало после появления сообщений о том, что xAI удалось привлечь ещё $6 млрд инвестиций. Новые вливания могут увеличить оценку рыночной стоимости стартапа до $50 млрд. Точные цифры будут объявлены немного позже.

Источник изображения: Supermicro

Colossus используется для обучения моделей ИИ для чат-бота Grok, разработанного xAI, который уступает по возможностям и аудитории лидеру рынка OpenAI ChatGPT, а также Google Gemini. Стартап выпустил свою первую большую языковую модель Grok-1 в конце 2023 года, в апреле 2024 года вышла модель Grok-1.5, а Grok-2 — в августе.

Colossus был построен в рекордные сроки — всего за три месяца. Гендиректор NVIDIA, Дженсен Хуанг (Jensen Huang), заявил, что «в мире есть только один человек, который мог бы это сделать». Хуанг назвал Colossus «несомненно самым быстрым суперкомпьютером на планете, если рассматривать его как один кластер», отметив, что ЦОД такого размера обычно строится три года.

Активисты из числа жителей Мемфиса раскритиковали проект из-за повышенной нагрузки на местные энергосети и требований, которые ИИ-кластер предъявляет к региональной энергосистеме. «Мы не просто лидируем; мы ускоряем прогресс беспрецедентными темпами, обеспечивая при этом стабильность энергосети, используя Megapack», — заявил в ответ Брент Майо на мероприятии в Мемфисе, пишет Financial Times.

Компания iGenius, специализирующаяся на ИИ-моделях для отраслей со строгим регулированием, анонсировала вычислительную платформу Colosseum. Это, как утверждается, один из самых мощных в мире ИИ-суперкомпьютеров на платформе NVIDIA DGX SuperPOD с тысячами ускорителей GB200 (Blackwell).

Известно, что комплекс Colosseum располагается в Европе. Полностью характеристики суперкомпьютера не раскрываются. Отмечается, что он обеспечивает производительность до 115 Эфлопс на операциях ИИ (FP4 с разреженностью). Говорится о применении передовой системы жидкостного охлаждения. Для питания используется энергия из возобновляемых источников в Италии.

По информации Reuters, в состав Colosseum войдут около 80 суперускорителей GB200 NVL72. Таким образом, общее количество ускорителей Blackwell достигает 5760. Общее энергопотребление системы должно составить почти 10 МВт. Стоимость проекта не называется. Но глава iGenius Ульян Шарка (Uljan Sharka) отмечает, что компания в течение 2024 года привлекла на развитие примерно €650 млн и намерена получить дополнительное финансирование для проекта Colosseum. При этом подчёркивается, что iGenius — один из немногих стартапов в области ИИ в Европе, капитализация которого превышает $1 млрд.

Источник изображения: iGenius

iGenius планирует применять Colosseum для ресурсоёмких приложений ИИ, включая обучение больших языковых моделей (LLM) с триллионом параметров, а также работу с открытыми моделями генеративного ИИ. Подчёркивается, что создание Colosseum станет основой для следующего этапа сотрудничества между iGenius и NVIDIA в области ИИ для поддержки задач, требующих максимальной безопасности данных, надёжности и точности: это может быть финансовый консалтинг, обслуживание пациентов в системе здравоохранения, государственное планирование и пр.

Модели iGenius AI, созданные с использованием платформы NVIDIA AI Enterprise, NVIDIA Nemotron и фреймворка NVIDIA NeMo, будут предлагаться в виде микросервисов NVIDIA NIM. По заявлениям iGenius, Colosseum поможет удовлетворить растущие потребности в ИИ-вычислениях. Colosseum также будет служить неким хабом, объединяющим предприятия, академические учреждения и государственные структуры.

Нужно отметить, что около месяца назад компания DeepL, специализирующаяся на разработке средств автоматического перевода на основе ИИ, объявила о намерении развернуть платформу на базе NVIDIA DGX GB200 SuperPod в Швеции. DeepL будет применять этот комплекс для исследовательских задач, в частности, для разработки передовых ИИ-моделей.

«Группа Астра» объявила о включении в свой контур и приобретении 100 % долей компании «Платформа Боцман», занимающейся разработкой одноимённого решения для управления мультикластерами на базе Kubernetes.

Платформа контейнеризации «Боцман» включена в реестр Минцифры России и ориентирована на крупных корпоративных заказчиков. Решение может быть использовано для развёртывания мультитенантных кластеров, обеспечения поддержки оборудования, работы с прикладными сервисами, создания ИБ-решений для Enterprise-сегмента, соответствующих регуляторным требованиям по защите информации. В составе системы представлены инструменты для мониторинга, балансировки и автомасштабирования контейнерных нагрузок, настройки политик безопасности и резервного копирования.

Сообщается, что одной из задач «Платформы Боцман» станет интеграция программного комплекса «Боцман» с Nodus — собственной разработкой «Группы Астра» для управления контейнеризацией. Объединённый продукт должен стать комплексным решением для контейнеризации, сочетающим возможности «Боцмана» с глубокой интеграцией с Nodus и встроенными в операционную систему Astra Linux средствами защиты информации. Nodus станет ядром новой платформы, а «Боцман» обеспечит управление, оркестрацию и поддержку прикладных сервисов.

Функциональные возможности платформы «Боцман» (источник изображения: bootsman.pro)

Кроме того, «Группа Астра» планирует интегрировать систему «Боцман» с облачными решениями Astra Cloud и Astra Infrastructure Cloud, а также усилить направление разработки ПО. Ожидается, что в результате заказчики и разработчики получат многофункциональный инструментарий для создания софта на базе контейнеров и микросервисов. Также в планах «Группы Астра» и команды компании «Боцман» — разработка программно-аппаратных комплексов под различные задачи и комплексные сценарии, начиная от управления данными и заканчивая приложениями, в основе которых — гибкая, масштабируемая и безопасная контейнеризация.

Компания NVIDIA сообщила о намерении открыть свой первый центр исследований и разработок во Вьетнаме: основным направлением деятельности площадки станут проекты, связанные с ИИ. Кроме того, NVIDIA примет участие в строительстве дата-центров во Вьетнаме, также ориентированных на задачи ИИ.

В рамках нового проекта NVIDIA сотрудничает с вьетнамскими властями. Как отмечает Reuters, соглашение о формировании центра исследований и разработок подписано в присутствии генерального директора NVIDIA Дженсена Хуанга (Jensen Huang) и премьер-министра Вьетнама Фам Минь Тиня (Pham Minh Chinh). Финансовые условия договора не раскрываются.

Известно, что одним из основных направлений деятельности центра станет разработка специализированного софта. Кроме того, будут проводиться работы в области ИИ-платформ. Исследователи и стартапы смогут использовать инфраструктуру NVIDIA для создания ИИ-приложений для ключевых отраслей, включая здравоохранение, образование, транспорт и финансы.

Источник изображения: NVIDIA

Хуанг во время визита в Ханой год назад заявил, что компания намерена развивать партнёрские отношения с ведущими технологическими предприятиями Вьетнама и оказывать стране поддержку в подготовке специалистов в области ИИ и цифровой инфраструктуры. Кроме того, NVIDIA заключила сделку по приобретению стартапа в сфере здравоохранения VinBrain — подразделения вьетнамского конгломерата Vingroup. А вьетнамская технологическая компания FPT в апреле текущего года сообщила о намерении развернуть ИИ-фабрику стоимостью $200 млн с использованием аппаратного и программного обеспечения NVIDIA.

В целом, NVIDIA инвестирует средства в технологическую экосистему Вьетнама на протяжении восьми лет. Компания сотрудничает с более чем 100 вьетнамскими стартапами в области ИИ.

Компания Delta Computers, российский производитель IT-оборудования и поставщик ПО, анонсировала СХД Delta Marlin, рассчитанную на работу с накопителями U.2 NVMe, оснащёнными интерфейсом PCIe 5.0. Кроме того, представлена платформа хранения Delta Guepard с гибкими вариантами конфигурации.

Решение Delta Marlin — система высокой плотности, которая может использоваться как для расширения дискового пространства сервера, так и в составе высокоскоростных программного-определяемых СХД. Возможна организация двухконтроллерного сценария благодаря dual-port режиму SSD.

Система в зависимости от варианта исполнения допускает установку 18 накопителей SFF толщиной 7мм или девяти SSD толщиной 15 мм. Кроме того, возможно подключение до 36 накопителей в 2OU-модуле. Предусмотрены два слота расширения для карт PCIe 5.0 х16 HHHL. Применяется встроенное ПО Delta BMC. Питание осуществляется от общей DC-шины OCP на 12 В. В системе охлаждения задействованы шесть вентиляторов с резервированием по схеме N+1.

Источник изображений: Delta Computers

В свою очередь, Delta Guepard — это семейство СХД, оптимизированных для высокопроизводительных приложений, требующих низкой задержки ввода-вывода и высокой пропускной способности. Устройства основаны на модульной архитектуре. Модификации Delta Guepard Gen 1 в форм-факторах 4U и 6U/8U рассчитаны соответственно на 30 и 60 накопителей SFF/LFF SATA HDD или U.2 (7–15 мм) NVMe SSD. Максимальная суммарная вместимость — 720 (30 накопителей) и 1440 (60 накопителей) Тбайт. Варианты Delta Guepard Gen 2 в исполнениях 4U и 6U/8U допускают установку до 36 и 72 накопителей U.2 NVMe, а общая вместимость составляет до 276 и 552 Тбайт.

Все устройства Delta Guepard наделены двумя контроллерами. Возможно формирование массивов RAID 0/1/5/6/10/50/60/70. Поддерживаются протоколы SMB v2/v3, NFS v3/v4, AFP, FTP, а также Fibre Channel; iSCSI; InfiniBand (FDR, QDR, DDR, EDR). Питание осуществляется от централизованного шинопровода OCP на 12 В. В продажу решения поступят в I квартале 2025 года.

NVIDIA намерена сотрудничать с правительством Таиланда в деле создания инфраструктуры ИИ мирового класса. При этом вызывает вопрос способность Таиланда в полной мере использовать свои сильные стороны для формирования экосистемы ИИ ЦОД, сообщает DigiTimes.

3 декабря глава NVIDIA Дженсен Хуанг (Jensen Huang) встретился с премьер-министром Таиланда Пхэтхонгтхан Чиннават (Paetongtarn Shinawatra). Стороны пришли к соглашению об углублении взаимодействия в сфере ИИ-технологий. NVIDIA будет работать с правительством над созданием ИИ-инфраструктуры мирового уровня и предоставит талантливые кадры для поддержки таиландских инициатив в области ИИ. Кроме того, компания поддержит более 50 ИИ-стартапов и вложится в университетские программы обучения ИИ-специальностям.

Хуанг также посетил мероприятие первого облачного партнёра NVIDIA в Таиланде — Siam.AI Cloud. Его руководство имеет заметное политическое влияние в стране и родственные связи как с бывшим, так и с действующим премьер-министрами. Визит Хуанга рассматривается как весьма положительное для ИИ-сектора страны событие. Не исключается даже, что в перспективе она сможет конкурировать с Малайзией и Индонезией и сможет привлечь в индустрию ЦОД ещё больше инвестиций, в том числе на производство серверного оборудования. Сотрудничество с NVIDIA также должно поспособствовать более широкому внедрению ИИ в стране.

Источник изображения: Braden Jarvis/unsplash.com

Вместе с тем всё ещё есть некоторые трудности для развития ИИ-экосистемы: высокие налоги на импорт, немалые расходы на передачу данных и дорогая электроэнергия. Из-за этого страна может оказаться не особенно привлекательной для крупных ЦОД. Некоторые эксперты и вовсе уверены, что создание ЦОД не повлияет на местную промышленность и не поможет сократить расходы на местные облака. Инвестиции в дата-центры способны обеспечить рост ВВП Таиланда, но они же увеличат и потребление электричества. Исследователи считают, что Таиланд может получить выгоду от ИИ ЦОД, используя свои компетенции в области ПО и SaaS. Однако в стране не хватает талантливых кадров в сфере полупроводников, что не позволяет ей играть значимую роль в мировых цепочках поставок.

О возможном визите Хуанга в Бангкок сообщалось ещё в конце октября, но масштаб инвестиций значительно меньше объёмов вложений в страну со стороны AWS, Microsoft и Google. Так или иначе, страна активно ищет инвесторов для развития местной ИИ-экосистемы и полупроводниковой отрасли.

В Великобритании введён в эксплуатацию суперкомпьютер Isambard 3, предназначенный для ресурсоёмких приложений ИИ и задач НРС. Реализация проекта обошлась приблизительно в £10 млн, или примерно $12,7 млн. Машина пришла на смену комплексу Isambard 2, который отправился на покой в сентябре нынешнего года.

Система Isambard 3 создана в рамках сотрудничества между исследовательским консорциумом GW4 Alliance, в который входят университеты Бата, Бристоля, Кардиффа и Эксетера, а также компаниями HPE, NVIDIA и Arm. Суперкомпьютер назван в честь британского инженера Изамбарда Кингдома Брюнеля, внесшего значимый вклад в Промышленную революцию.

Полностью технические характеристики Isambard 3 не раскрываются. Известно, что в основу машины положены 384 суперпроцессорами NVIDIA Grace со 144 ядрами (2 × 72) Arm Neoverse V2 (Demeter), общее количество которых превышает 55 тыс. Задействована высокопроизводительная СХД HPE, которая обеспечивает расширенные IO-возможности с интеллектуальным распределением данных по нескольким уровням. Благодаря этому достигается эффективная обработка задач с интенсивным использованием информации, таких как обучение моделей ИИ.

Известно также, что в составе комплекса применяется фирменный интерконнект HPE Slingshot, а в качестве внутреннего интерконнекта служит технология NVLink-C2C, которая в семь раз быстрее PCIe 5.0. Каждый узел суперкомпьютера содержит один суперчип Grace и сетевой адаптер Cassini с пропускной способностью до 200 Гбит/с. Объём системной памяти составляет 2 × 120 Гбайт (240 Гбайт).

Источник изображения: GW4

Отмечается, что Isambard 3 демонстрирует в шесть раз более высокую производительность и в шесть раз лучшую энергоэффективность по сравнению с Isambard 2. Пиковое быстродействие FP64 у Isambard 3 достигает 2,7 Пфлопс при энергопотреблении менее 270 кВт. Применять новый суперкомпьютер планируется для таких задач, как проектирование оптимальной конфигурации ветряных электростанций на суше и воде, моделирование термоядерных реакторов, исследования в сфере здравоохранения и пр.

Суперкомпьютер расположен в автономном дата-центре с системой самоохлаждения HPE Performance Optimized Data Center (POD) в Национальном центре композитов в Научном парке Бристоля и Бата. Там же ведётся монтаж ИИ-комплекса Isambard-AI стоимостью £225 млн ($286 млн), который должен стать самым быстрым и мощным суперкомпьютером в Великобритании. Проект Isambard-AI реализуется в несколько этапов. Первая фаза предполагает монтаж 42 узлов, каждый из которых несёт на борту четыре суперчипа NVIDIA GH200 Grace Hopper и 4 × 120 Гбайт памяти для CPU (доступно 460 Гбайт — по 115 Гбайт на CPU), а также 4 × 96 Гбайт памяти для GPU (H100). В ходе второй фазы будут добавлены 1320 узлов, насчитывающих в сумме 5280 суперчипов NVIDIA GH200 Grace Hopper.

Кроме того, в состав Isambard 3 входит экспериментальный x86-модуль MACS (Multi-Architecture Comparison System), включающий сразу восемь разновидностей узлов на базе процессоров AMD EPYC и Intel Xeon нескольких поколений, часть из них также имеет ускорители AMD Instinct MI100 и NVIDIA H100/A100. Все они объединены 200G-интерконнектом HPE Slingshot.

Компания OpenAI намерена построить собственные дата-центры в США в рамках плана по привлечению к своим сервисам 1 млрд пользователей и дальнейшей коммерциализации своих технологий. По словам представителя OpenAI, компания намерена получить в своё распоряжение ЦОД как для обучения, так и для инференса, сообщает Financial Times.

По словам представителя компании, «чипы, данные и энергия» станут ключевыми факторами, которые помогу компании выиграть в гонке ИИ-технологий и создать AGI, потенциально соответствующий возможностям человеческого мозга или даже превосходящий его.

OpenAI намерена построить кластеры ЦОД на Среднем Западе и юго-востоке США. Подробности пока не разглашаются, но подтверждается, что строительство дата-центров является частью стратегии коммерциализации ИИ-технологий компании. В своё время OpenAI была основана как некоммерческая организация, но теперь переходит к более традиционной для бизнеса корпоративной структуре. Как сообщает Financial Times, компания наняла своего первого главу по финансам и продуктам и теперь якобы рассматривает возможности интеграции рекламы в свои решения.

Источник изображения: Caspar Camille Rubin/unsplash.com

Что касается действующей цифровой инфраструктуры OpenAI, которая ранее в этом году привлекла ещё $6,6 млрд, в основном полагается на дата-центры Microsoft Azure — именно Microsoft вложила в стартап миллиарды долларов. Недавно компания начала посматривать и на других облачных провайдеров, а в июне анонсировала партнёрство с Oracle, в рамках которого Oracle Cloud Infrastructure будет задействована для обучения ИИ-моделей (правда, тоже при посредничестве Microsoft). Запросы компании превышают мощности, которые способна предоставить ей Microsoft.

Не так давно OpenAI пыталась убедить правительство США в необходимости создания 5-ГВт дата-центров, способных вместить сразу 2 млн ускорителей. Компания заявила, что это уже вопрос национальной безопасности, и даже подготовила целый ряд рекомендаций.