Компания OpenAI, по информации Reuters, разрабатывает собственные чипы для обработки ИИ-задач. Партнёром в рамках данного проекта выступает Broadcom, а организовать производство изделий планируется на мощностях TSMC ориентировочно в 2026 году.

Слухи о том, что OpenAI обсуждает с Broadcom возможность создания собственного ИИ-ускорителя, появились минувшим летом. Тогда говорилось, что эта инициатива является частью более масштабной программы OpenAI по увеличению вычислительных мощностей компании для разработки ИИ, преодолению дефицита ускорителей и снижению зависимости от NVIDIA.

Как теперь стало известно, OpenAI уже несколько месяцев работает с Broadcom над своим первым чипом ИИ, ориентированным на задачи инференса. Соответствующая команда разработчиков насчитывает около 20 человек, включая специалистов, которые ранее принимали участие в проектировании ускорителей TPU в Google, в том числе Томаса Норри (Thomas Norrie) и Ричарда Хо (Richard Ho). Подробности о проекте не раскрываются.

Reuters, ссылаясь на собственные источники, также сообщает, что OpenAI в дополнение к ИИ-ускорителям NVIDIA намерена взять на вооружение решения AMD, что позволит диверсифицировать поставки оборудования. Речь идёт о применении изделий Instinct MI300X, ресурсы которых будут использоваться через облачную платформу Microsoft Azure.

Источник изображения: Unsplash

Это позволит увеличить вычислительные мощности: компания OpenAI только в 2024 году намерена потратить на обучение ИИ-моделей и задачи инференса около $7 млрд. Вместе с тем, как отмечается, OpenAI пока отказалась от амбициозных планов по созданию собственного производства ИИ-чипов. Связано это с большими финансовыми и временными затратами, необходимыми для строительства предприятий.

Портал ServeTheHome рассказал подробности об архитектуре вычислительного кластера xAI Colossus, предназначенного для обучения крупных ИИ-моделей. Эта система использует 100 тыс. NVIDIA H100, а в дальнейшем количество ускорителей планируется увеличить вдвое. Это самый крупный из известных ИИ-кластеров на текущий момент. Оборудование для него поставили компании Dell и Supermicro.

Стартап xAI, курируемый Илоном Маском (Elon Musk), объявил о запуске суперкомпьютера Colossus в начале сентября нынешнего года. Утверждается, что на создание системы потребовалось всего 122 дня. Причём с момента установки первой стойки с серверами до начала обучения ИИ-моделей прошло только 19 суток. Впрочем, как отмечают эксперты, поскольку машина является «однозадачной», т.е. в отличие от традиционных суперкомпьютеров предназначенной только для работы с ИИ, ускорить строительство было не так уж сложно, хотя результат всё равно впечатляющий.

Как сообщается, в составе Colossus применены серверы на платформе NVIDIA HGX H100, оборудованные системой жидкостного охлаждения. Каждый узел Supermicro серии TNHR2-LCC типоразмера 4U содержит восемь ускорителей NVIDIA H100 и два CPU. Узел разделён на две половинки, одна с CPU и PCIe-коммутаторами и одна с HGX-платой, которые могут извлекаться независимо для простоты обслуживания. CPU, коммутаторы и ускорители охлаждаются посредством СЖО.

Источник изображения: Supermicro

Вентиляторы в шасси тоже есть. Воздух от них попадает на теплообменники на задней двери, которые уносят остаточное тепло. Холодных и горячих коридоров в ЦОД нет, воздух имеет одинаковую температуру во всём зале. В нижней части стоек располагается ещё один 4U-блок Supermicro для CDU с резервированием и поддержкой горячей заменой насосов. Каждый сервер имеет четыре блока питания с резервированием и возможностью горячей замены, которые подключены к трёхфазным PDU.

Одна стойка объединяет восемь узлов NVIDIA HGX H100, между которыми располагаются коллекторы СЖО в формате 1U. Таким образом, каждая стойка насчитывает 64 экземпляра H100. Стойки организованы в группы по восемь штук, которые образуют малые кластеры из 512 ускорителей H100. Они в свою очередь объединены в т.н. «острова» по 25 тыс. ускорителей, каждому из которых полагается собственный машинный зал. Общее количество стоек в составе Colossus превышает 1500.

Помимо узлов с ускорителями также есть CPU-узлы и узлы хранения All-Flash (1U). Как отмечает NVIDIA, в кластере Colossus задействована сетевая платформа Spectrum-X Ethernet. Применены коммутаторы Spectrum-X SN5600 и сетевые карты на базе чипа BlueField-3. Компания говорит об использовании трёхуровневой Ethernet-сети с 400GbE-подключением, но точная топология не указана. Судя по всему, выделенной сети для работы с хранилищем не предусмотрено. Каждом ускорителю полагается один 400GbE-адаптер SuperNIC, который и объединяет их в RDMA-сеть. Кроме того, у каждого GPU-узла есть ещё один 400GbE DPU, а также подключение к сервисной сети. Сетевые карты находятся в собственных лотках, благодаря чему их можно заменять без демонтажа шасси. По словам NVIDIA, уровень утилизации сети достигает 95 %.

В качестве энергетического буфера между электросетью и суперкомпьютером используются аккумуляторные банки Tesla Megapack ёмкостью 3,9 МВт·ч каждый. Они необходимы для того, чтобы компенсировать всплески потребляемой мощности, когда нагрузка на ускорители резко возрастает в силу выполняемых ИИ-задач. Впрочем, вероятно, есть и ещё одна причина для такого решения — на первом этапе Colossus был лишён подключения к основной энергосети и в вопросе питания во многом полагался на генераторы.

Повышение ключевой ставки Центробанком РФ может привести к неблагоприятным последствиям для рынка дата-центров в России. «Коммерсантъ» сообщает, что рост ставки до 21 % грозит замедлением строительства ЦОД, в том числе из-за удорожания строительного оборудования, а уже через полтора года вероятен дефицит вычислительных мощностей. Возможным выходом для операторов является IPO — некоторые уже начали готовиться к размещению акций на бирже.

Как считают в компании ART Engineering, выпускающей решения для телеком-инфраструктуры, увеличение ключевой ставки Банком России стало причиной роста затрат на обслуживание займов для строительства дата-центров и обновление оборудования в ЦОД старше пяти лет.

В iKS-Consulting поддерживают подобную точку зрения, подчёркивая, что ЦОД на 70–80 % строятся на заёмные средства и лишь на 20–30 % — на собственные деньги операторов. При этом капитальные затраты на 1 МВт IT-ёмкости составляют 1,2 млрд руб., поэтому долговая нагрузка при строительстве будет расти, из-за чего будет падать привлекательность инвестиций в этот сектор. Не исключён дефицит мощностей, сопоставимый с кризисом 2022 года.

Источник изображения: Annie Spratt/unsplash.com

В ноябре 2023 года, когда ставка поднялась с 13 % до 15 %, многие проекты строительства ЦОД отменили. По словам Президента Ассоциации участников отрасли ЦОД, срок окупаемости проектов велик, поэтому повышением стоимости услуг финансовые проблемы не решить. При этом отдельных льгот для строителей ЦОД не предусмотрено, хотя находящийся на согласовании нацпроект «Экономика данных» пока включает получение строителями субсидий для компенсации высокой ставки по кредитам.

Важное значение имеет ключевая ставка для дистрибьюторов и локальных производителей вычислительной техники, поскольку они используют кредитные средства. По словам представителей отрасли, исчезает целесообразность получения средств от банков, из-за чего увеличиваются сроки оплаты и поставки компонентов конечной продукции.

По словам главы АНО «Координационный центр по ЦОД и облачным технологиям», дефицит коммерческих ЦОД может начаться приблизительно через полтора года. По мнению некоторых экспертов, средства компании могут привлечь в результате выхода на IPO и продажи акций. Например, в мае «Ростелеком» сообщал о намерении вывести на фондовый рынок дочернюю структуру «РТК-ЦОД». Однако конъюнктура для размещения акций пока неблагоприятная, а в 2025 году при отсутствии драйверов роста не исключена череда слияний и поглощений, отмечают собеседники «Коммерсанта».

Министр промышленности Италии Адольфо Урсо (Adolfo Urso) объявил о желании неназванной компании реализовать в стране проект строительства ЦОД общей стоимостью €30 млрд ($33 млрд). По информации Reuters, проект предложен неназванной иностранной корпорацией.

По словам министра, представитель компании заявил, что выбор пал на Итали потому, что её можно назвать идеальным местом для дата-центров. Страна — участница «большой семёрки», находится в средиземноморском бассейне, на перекрёстке мировых информационных маршрутов.

Дополнительные подробности не раскрываются. Как предполагают эксперты, подобная инвестиция способна обеспечить строительство гигаваттных кампусов ЦОД — при этом Италия всегда считалась рынком вторичным рынком дата-центров. Для сравнения, в £10 млрд ($13,3 млрд) обойдётся 1,1-ГВт проект QTS (Blackstone) в Великобритании, отмечает DataCenter Dynamics.

Источник изображения: Jack Ward/unsplash.com

Немногие операторы ЦОД вообще имеют доступ к таким финансовым ресурсам. При этом каждый из облачных гиперскейлеров, включая Microsoft, Google, Oracle и AWS (Amazon) уже имеют дата-центры в стране. Так, облачный регион Microsoft расположен в Милане. Компания анонсировала регион Italian Azure в мае 2020 года, а запустила его в 2023 году. Недавно компания анонсировала намерение инвестировать в расширение местной облачной инфраструктуры ещё €4,3 млрд ($4,75 млрд).

Это был последний из американских гиперскейлеров, запустивший своё облако в Италии. AWS запустила регион в Милане в 2020 году и намерена инвестировать ещё. Oracle свой первый облачный регион тоже запустила в Милане в конце 2021 года. Ранее в этом году компания анонсировала планы создания второго региона в Турине при сотрудничестве с телеком-оператором Telecom Italia (TIM). Первый облачный регион Google открылся всё в том же Милане в 2022 году, с тех пор второй регион Google Cloud Platform (GCP) запустили в Турине.

Компания MSI расширила ассортимент одноплатных компьютеров, анонсировав модель MS-CF16 типоразмера Pico-ITX на аппаратной платформе Intel. Новинка предназначена для создания систем промышленной автоматизации, периферийных устройств, медицинского оборудования и пр.

В зависимости от модификации изделие комплектуется процессором Alder Lake-N или Amston Lake. В частности, доступны варианты с чипом Intel Processor N97 (4C/4T; до 3,6 ГГц; 12 Вт), Atom x7425E (4C/4T; до 3,4 ГГц; 12 Вт) и Atom x7433RE (4С/4Т; до 3,4 ГГц; 9 Вт). Объём оперативной памяти LPDDR5-4800 может достигать 16 Гбайт.

Одноплатный компьютер располагает одним портом SATA-3 для накопителя, разъёмом М.2 E-Key 2230 (PCIe x1 + USB 2.0) для адаптера Wi-Fi и коннектором М.2 B-Key 2242/3042 (PCIe x1/SATA 3.0 + USB 3.2 Gen 2 + USB 2.0). В оснащение входят сетевые контроллеры Realtek RTL8125BG-CG 2.5GbE и Realtek RTL8111K-CG 1GbE, звуковой кодек Realtek ALC897, IO-чип Fintek F81966AB-I и ТРМ-контроллер Infineon SLB 9672VU2.0.

Источник изображения: MSI

Возможен вывод изображения одновременно на два дисплея через интерфейсы LVDS/eDP (1920 × 1200 пикселей, 60 Гц) и HDMI (3840 × 2160 точек, 30 Гц). Есть два порта USB 3.2 Type-A и два гнезда RJ45 для сетевых кабелей. Через разъёмы на плате можно задействовать два порта USB 2.0 и последовательный порт RS-232/422/485.

Новинка оснащена системой пассивного охлаждения с крупным радиатором на тыльной стороне. Диапазон рабочих температур простирается от -10 до +60 °C у версий с процессором Alder Lake-N и от -40 до +70 °C у модели с чипом Amston Lake. Питание (12 В) подаётся через DC-разъём. Габариты составляют 101 × 73 мм. Заявлена совместимость с Windows 10 IoT Enterprise LTSC 2021, Windows 11 IoT Enterprise LTSC 22H2 и Linux.

Компания ASRock Rack анонсировала материнскую плату TURIN2D48G-2L+, предназначенную для построения серверов на платформе AMD. Новинка, выполненная в проприетарном форм-факторе, допускает установку двух процессоров семейства EPYC 9005 (Turin) или  EPYC 9004 (Genoa) в исполнении Socket SP5 (LGA 6096) с показателем TDP до 500 Вт.

Особенность платы заключается в наличии 48 слотов для модулей DDR5-5200 (24 слота в расчёте на CPU). При использовании изделий RDIMM-3DS ёмкостью 512 Гбайт суммарный объём ОЗУ в системе может достигать 24 Тбайт.

Реализованы 12 коннекторов MCIO (PCIe 5.0 / CXL 2.0 x8), четыре разъёма MCIO (PCIe 5.0 / CXL 2.0 x8 или 8 × SATA-3), по два коннектора MCIO (PCIe 5.0 или 8 × SATA-3) и MCIO (PCIe 5.0 x8). Есть также разъём SlimSAS (PCIe 3.0 x2) и два коннектора M.2 для SSD типоразмеров 22110/2280 с интерфейсом PCIe 3.0 x4 или SATA-3. В общей сложности могут быть задействованы до 34 портов SATA-3 для подключения накопителей.

Источник изображения: ASRock Rack

В оснащение входят BMC-контроллер ASPEED AST2600, двухпортовый сетевой адаптер Intel i350 стандарта 1GbE и контроллер Realtek RTL8211F, на базе которого выполнен выделенный сетевой порт управления. Интерфейсный блок содержит три гнезда RJ45 для сетевых кабелей, два порта USB 3.2 Gen1 Type-A и аналоговый разъём D-Sub. Через разъёмы на плате можно использовать ещё два порта USB 3.2 Gen1, последовательный порт и пр. Есть шесть гнёзд для подключения вентиляторов охлаждения. Диапазон рабочих температур — от +10 до +35 °C.

В условиях острого дефицита электроэнергии на фоне бурного развития ИИ операторы ЦОД ищут дополнительные источники питания, которые не зависят от магистральных сетей. Вице-президент Schneider Electric Стивен Карлини (Steven Carlini), отвечающий за инновации и технологии для дата-центров, опубликовал статью в блоге компании, где назвал наиболее вероятные источники энергии для таких объектов в кратко-, средне- и долгосрочной перспективах.

Сегодня спрос на ёмкость ЦОД часто превышает предложение, особенно в регионах вроде Евросоюза, но девелоперы часто не могут найти достаточно энергии и земли для строительства новых объектов. Тем временем ИИ ЦОД требуют всё больших мощностей — согласно прогнозам экспертов, в США потребление электричества дата-центрами может превысить её поставки в ближайшие несколько лет, в том числе в связи с недостатком ЛЭП.

По словам Карлини, в краткосрочной перспективе дополнением к магистральным сетям могут стать газовые турбины, установленные непосредственно на территории ЦОД. Некоторые нефтегазовые компании уже ведут переговоры с операторами ЦОД, при этом к таким проектам пока не предъявляются столь же жёсткие требования, как к стандартным электросетям. В числе прочих опций — солнечная и ветряная энергия, топливные ячейки на том или ином газе. Например, Amazon (AWS) в прошлом году анонсировала планы перевести на топливные элементы некоторые объекты в Орегоне.

Источник изображения: Oliver B/unsplash.com

В среднесрочной перспективе предполагается «оживить» закрытые электростанции. Например, Microsoft заключила соглашение с Constellation Energy о возобновлении работы АЭС Three Mile Island в Пенсильвании, а AWS купила кампус ЦОД рядом с атомной электростанцией в том же штате. АЭС Duane Arnold тоже не прочь вернуть в строй. Google также рассматривает атомную энергетику как один из перспективных источников электричества.

В долгосрочной перспективе Карлини предрекает успех малым модульным реакторам (SMR). Он назвал их безопасными, надёжными, эффективными и работающими на «восстановленных» ядерных отходах. Вместе с тем SMR всё ещё должны пройти многоэтапное тестирование и получить одобрение регуляторов, а пока ни одного коммерчески доступного реактора такого типа нет.

Источник изображения: IEEFA

По поводу целесообразности SMR для ЦОД тоже есть сомнения, отмечает The Register. Согласно докладу Institute for Energy Economics and Financial Analysis (IEEFA), миниатюрные реакторы всё ещё слишком дороги (и продолжают дорожать), слишком медленно создаются и слишком «рискованны», чтобы играть значительную роль в отказе от электростанций на ископаемом топливе. В институте считают, что на SMR деньги буквально выбрасываются, хотя их можно было бы с пользой потратить на возобновляемую энергетику.

Сам Карлини считает, что единого решения для всех случаев нет — в будущем дата-центры будут получать энергию из самых разных источников, а энергосети превратятся в комплексные экосистемы с подключением классических электростанций на ископаемом топливе, газовых турбин локального значения, локальных кластеров топливных элементов и локальных же источников солнечной и ветряной энергии. Столь сложные системы должны постоянно контролироваться для бесперебойного энергоснабжения, а системы контроля, по мнению Карлини, конечно же, обеспечит Schneider Electric.

Как пишет Data Center Dynamics, генеральный директор NVIDIA Дженсен Хуанг (Jensen Huang) сообщил на саммите AI Summit в Мумбаи, что американская компания заключила серию партнёрских соглашений с индийскими фирмами для развёртывания своих чипов и технологий ИИ, расширяя присутсвие на ключевом для себя рынке. С некоторыми из фирм были заключены контракты на поставку десятков тысяч ускорителей H100, в частности, с Tata Communications и Yotta Data Services.

Tata Communications модернизирует свою облачную ИИ-инфраструктуру в Индии. Компания начнёт первую фазу крупномасштабного развёртывания NVIDIA Hopper в конце этого года, а на фазе в 2025 году добавит к ним ускорители NVIDIA Blackwell. Как утверждает Tata Communications, её платформа будет одним из крупнейших ИИ-суперкомпьютеров в Индии. Yotta Data Services уже представила шесть новых ИИ-сервисов для своей платформы Shakti Cloud, в том числе на базе NVIDIA NIM. К ним относятся AI Lab, AI Workspace, Serverless AI Inferencing, GPUaaS и др.

Источник изображения: NVIDIA

NVIDIA также сотрудничает с крупнейшим в стране конгломератом Reliance Industries над созданием облачной ИИ-инфраструктуры для обработки данных, обучения сотрудников и создания собственных больших языковых моделей с поддержкой распространённых в стране языков. В рамках партнёрства Reliance развернёт суперускорители GB200. Tech Mahindra намерена использовать чипы и ПО NVIDIA для разработки ИИ-модели на хинди под названием Indus 2.0. Работа над этим проектом будет вестись в Центре передового опыта (Center of Excellence), базирующемся в лабораториях Tech Mahindra в Пуне и Хайдарабаде.

На прошлой неделе Дженсен Хуанг также принял участие в церемонии запуска суверенного ИИ-суперкомпьютера Gefion. По данным ресурса The Register, в своём выступлении Хуанг отметил, что ЕС должен ускорить прогресс в области ИИ. «В каждой стране пробуждается понимание того, что данные — это национальный ресурс», — заявил гендиректор NVIDIA. Европейским странам необходимо больше инвестировать в ИИ, если они хотят сократить разрыв с США и Китаем, подчеркнул глава NVIDIA, подразумевая, что лучшим средством для этого будут ускорители его компании.

Компания Gartner подвела предварительные итоги исследования глобального IT-рынка в 2024 году, а также сделала прогноз на 2025-й. Отрасль продолжает расширяться, несмотря на макроэкономические сложности и геополитическую обстановку.

Подсчитываются расходы на дата-центры, электронные устройства, ПО корпоративного класса, IT-сервисы и телекоммуникационные сервисы. В 2024 году суммарные затраты в обозначенных областях оцениваются в $5,26 трлн. Это на 7,2 % больше по сравнению с предыдущим годом.

В сегменте ЦОД затраты по итогам 2024-го составят около $318,01 млрд, что на треть — 34,7 % — больше по сравнению с прошлым годом. В области корпоративного софта ожидается выручка около $1,09 трлн с приростом на 11,7 % в годовом исчислении. Затраты на IT-сервисы и телекоммуникационные сервисы — $1,59 трлн и $1,53 трлн соответственно с прибавкой на 5,6 % и 2,0 %. Электроника принесёт $735,76 млрд, показав рост на 6,2 % по сравнению с 2023-м.

Источник изображения: Gartner

Одним из основных драйверов глобального IT-рынка аналитики Gartner называют генеративный ИИ. Внедрение таких сервисов и обучение модулей способствует развитию инфраструктуры дата-центров и сопутствующей экосистемы ПО. В 2025 году суммарные затраты на IT, согласно прогнозам, поднимутся на 9,3 %, достигнув $5,75 трлн.

Наиболее высокие темпы роста ожидаются в области ЦОД — плюс 15,5 % с результатом $367,17 млрд в 2025 году. В сегменте ПО рост, по мнению Gartner, составит 14,0 % — до $1,24 трлн. IT-сервисы принесут $1,74 трлн с прибавкой 9,4 %, телекоммуникационные сервисы — $1,60 трлн с ростом 4,4 % по отношению к 2024-му. Электронные устройства обеспечат $805,72 млрд выручки, плюс 9,5 % год к году.

Как следует из доклада агентства McKinsey, взрывной рост ИИ может стать причиной троекратного роста энергопотребления ЦОД в Европе. Эксперты отмечают, что за последние 20 лет ни одна другая технология не оказала такого влияния на необходимость ускоренного развития энергетической инфраструктуры в Европе. По оценкам агентства, энергопотребление европейских дата-центров вырастет к 2030 году с нынешних 62 ТВт∙ч до 150 ТВт∙ч. Это составит до 5 % энергопотребления всего региона, тогда как сейчас на ЦОД приходится около 2 %.

В McKinsey считают, что европейские объекты потребуют ещё 25 ГВт генерирующих мощностей для питания ресурсоёмких ИИ-ускорителей, причём большая часть придётся на «зелёную» энергию. Впрочем, способность индустрии ЦОД добиться нулевых выбросов в 2030–2040 гг. всё ещё под вопросом. По мнению бывшего главы Google Эрика Шмидта (Eric Schmidt), целей декарбонизации добиться всё равно не получится, поскольку общество пока просто «не организовано» для решения этого вопроса. При этом сам ИИ, по его мнению, и должен помочь решить эту проблему.

Источник изображений: McKinsey

В McKinsey отмечают, что кредиты на возобновляемую энергию остаются одним из самых популярных способов для операторов ЦОД компенсировать выбросы их объектов. Тем не менее, как отмечают в агентстве, в долгосрочной перспективе такие схемы будут оказывать минимальное влияние на выбросы в энергосистемах, также они редко способствуют развитию новых проектов или генерации чистой энергии.

Одним из способов снизить негативное влияние ИИ на выбросы CO₂ является размещение ЦОД рядом с электростанциями, непосредственно генерирующими чистую энергию. Лучше всего такой подход работает при обучении ИИ-моделей. Для запуска уже обученных моделей расположение ЦОД возле населённых пунктов предпочтительнее. В долгосрочной перспективе, отмечает McKinsey, возможны другие методы борьбы с загрязнениями окружающей среды — от захвата углекислоты до использования малых модульных реакторов (SMR) для генерации энергии на месте.

SMR очень интересны операторам ЦОД и гиперскейлерам вроде AWS и Google, хотя коммерческих моделей всё ещё нет. Рассматриваются и другие источники вроде водородных топливных элементов. Вместе с тем доля объектов, принадлежащих или управляемых гиперскейлерами, будет расти и далее, как и их энергопотребление.

Хотя энергопотребление ЦОД, как ожидается, вырастет, в другом докладе McKinsey, заявляется, что спрос на электроэнергию в Европе в целом окажется меньше, чем прогнозировалось ранее. Ранее ожидалось, что энергопотребление в регионе вырастет к 2030 году на 7 %, но, как считают в McKinsey, несмотря на существующие тренды, спрос замедлился, во многом из-за внедрения решений для достижения энергоэффективности, умеренно холодных зим и высокой стоимости энергии, ведущей к частичной деиндустриализации.