Компания OpenAI намерена построить собственные дата-центры в США в рамках плана по привлечению к своим сервисам 1 млрд пользователей и дальнейшей коммерциализации своих технологий. По словам представителя OpenAI, компания намерена получить в своё распоряжение ЦОД как для обучения, так и для инференса, сообщает Financial Times.

По словам представителя компании, «чипы, данные и энергия» станут ключевыми факторами, которые помогу компании выиграть в гонке ИИ-технологий и создать AGI, потенциально соответствующий возможностям человеческого мозга или даже превосходящий его.

OpenAI намерена построить кластеры ЦОД на Среднем Западе и юго-востоке США. Подробности пока не разглашаются, но подтверждается, что строительство дата-центров является частью стратегии коммерциализации ИИ-технологий компании. В своё время OpenAI была основана как некоммерческая организация, но теперь переходит к более традиционной для бизнеса корпоративной структуре. Как сообщает Financial Times, компания наняла своего первого главу по финансам и продуктам и теперь якобы рассматривает возможности интеграции рекламы в свои решения.

Источник изображения: Caspar Camille Rubin/unsplash.com

Что касается действующей цифровой инфраструктуры OpenAI, которая ранее в этом году привлекла ещё $6,6 млрд, в основном полагается на дата-центры Microsoft Azure — именно Microsoft вложила в стартап миллиарды долларов. Недавно компания начала посматривать и на других облачных провайдеров, а в июне анонсировала партнёрство с Oracle, в рамках которого Oracle Cloud Infrastructure будет задействована для обучения ИИ-моделей (правда, тоже при посредничестве Microsoft). Запросы компании превышают мощности, которые способна предоставить ей Microsoft.

Не так давно OpenAI пыталась убедить правительство США в необходимости создания 5-ГВт дата-центров, способных вместить сразу 2 млн ускорителей. Компания заявила, что это уже вопрос национальной безопасности, и даже подготовила целый ряд рекомендаций.

AWS рассказала об инновациях, внедряемых в её ЦОД для поддержки ИИ-нагрузкок следующего поколения. По данным DataCenter Dynamics, нововведения связаны в первую очередь с электропитанием и охлаждением. Они направлены на повышение энергоэффективности дата-центров AWS. Первые ЦОД на базе новой архитектуры заработают в начале 2025 года.

Новые решения в свежих новых дата-центрах компании по всему миру, а некоторые начнут применять уже на существующих объектах. В компании подчёркивают, что решения изначально спроектированы как модульные, поэтому возможная поэтапная модернизация площадок для внедрения СЖО, повышения энергоэффективности и снижения углеродного следа. Так, AWS упростит электрическую и механическую структуру новых ЦОД, чтобы облегчит их обслуживание и повысить надёжность.

В частности, упростится подход к распределению энергии внутри ЦОД, а источники резервного питания будут размещаться ближе к стойкам. Это позволит повысить доступность инфраструктуры до 99,9999 % времени, а количество стоек, которых могут коснуться проблемы с энергоснабжением, снизится на 89 %. Также уменьшится количество вентиляторов для отвода горячего воздуха. Вместо этого будет применяться естественный перепад давления, что положительно скажется на энергопотреблении. Вместе с тем AWS намерено вшестеро увеличить мощность стойки в следующие два года, и ещё втрое — в будущем.

Впрочем, в ИИ-серверах, где мощность ускорителей приближается к 1 кВт, без СЖО обойтись сложно. AWS готовит суперкластеры Project Rainier и Project Ceiba на базе AWS Tranium2 и NVIDIA Blackwell соответственно, поэтому она вместе с крупным производителем СЖО будет внедрять прямое жидкостное охлаждение и в новых, и в старых ЦОД. В некоторых случаях будет использоваться и гибридное охлаждение. Одним из главных плюсов новой архитектуры охлаждения является гибкость — акцент на воздушное или жидкостное охлаждение будет делаться в зависимости от потребностей оборудования и возможностей конкретных дата-центров.

Источник изображений: AWS

Заодно AWS использовала имеющиеся данные и генеративный ИИ для поиска наиболее эффективного способа размещения стоек в своих ЦОД, добавив ещё 12 % вычислительных мощностей на каждую площадку. Новая технология будет применяться как к новому оборудованию для ИИ-систем, так и для других типов техники. Также компания внедрила собственную систему управления механическими и электрическими устройствами — она поможет стандартизировать мониторинг и эксплуатацию дата-центров.

Наконец, предприняты усилия по повышению экобезопасности дата-центров. AWS заявила, что новая архитектура охлаждения снизит потребление энергии на 46 % во времена пиковых нагрузок без увеличения потребления воды. Доля углеродных выбросов при производстве бетона, используемого при строительстве ЦОД, уменьшена на 35 % относительно средней по отрасли, кроме того, на 35 % сокращается потребление стали в целом, а та, что используется, поступает из электродуговых печей, а не газовых, что сокращает косвенные выбросы. Наконец, резервные генераторы AWS переведут на возобновляемое дизельное топливо.

Дополнительно AWS совместно с Orbital Materials запустила пилотный проект по тестированию разработанного с помощью ИИ материала, помогающего захватывать в дата-центрах углекислый газ — речь идёт о «губке на атомном уровне», взаимодействующей только с молекулами углекислоты. Тестирование материала, три года разрабатывавшегося компаниями, начнётся в начале 2025 года. По данным Orbital, новый материал значительно дешевле аналогов. В дальнейшем стартап планирует испытать разработанные с помощью ИИ технологии для экономии воды и охлаждения чипов.

DataCenter Dynamics также отмечает, что AWS впервые раскрыла показатель PUE своих дата-центров. В среднем он составляет 1,15, а самая лучшая площадка достигла 1,04. Для сравнения: у Google эти показатели составляют 1,1 и 1,06 соответственно, у Microsoft — 1,18 и 1,12 (у новых объектов). ЦОД Meta✴ в среднем имеют PUE около 1,08, а Oracle говорит об 1,15.

Компания Meta✴ ищет подрядчиков, способных к началу 2030-з годов начать поставки энергии от атомных реакторов в США. Проекты должны обеспечить энергией дата-центры компании и ближайшие поселения. Фактически компания вступает в своеобразный «клуб» гиперскейлеров, готовых использовать атомную энергию для питания дата центров. Над аналогичными проектами уже работают AWS, Google, Microsoft, Oracle и другие техногиганты, желающие получать «безуглеродную» энергию.

«Запрос предложений» (request for proposals, RFP) предусматривает строительство значительных мощностей нового поколения, от одного до четырёх гигаватт. Хотя некоторые игроки рынка заключили сделки с конкретными энергетическими стартапами, Meta✴ предлагает широкое «окно возможностей» и открыта для самых разных идей и работы с всевозможными типами реакторов, разными локациями и т.п. Компания ищет партнёров, способных повысить доступность атомных реакторов, причём в масштабах, позволяющих значительно снизить себестоимость проектов, использовав многочисленные модули.

Источник изображения: Hal Gatewood/unsplash.com

Meta✴ ищет партнёров, способных выполнить проект от начала до конца — от поиска подходящих площадок и получения разрешений до разработки, работы с финансами, ввода в эксплуатацию, обслуживания и т.д. Это позволит быстро масштабировать проекты. В Meta✴ допускают, что места, в которых реакторы можно будет запустить быстрее всего, могут оказаться довольно далеко от её собственных кампусов ЦОД. Meta✴ признаёт, что в отличие от проектов возобновляемой энергетики, атомные проекты будут дороже, но зато они рассчитаны на более длительную эксплуатацию.

Компания готова и покупать энергию, когда объекты заработают, и разделить расходы на строительство новых атомных мощностей. При этом компания подчёркивает, что нуждается в больших объёмах энергии и намерена преодолеть «нерешительность» инвесторов, намеренных потратить деньги на масштабные стройки. Ранее Meta✴ ужа прошла похожий путь с возобновляемой энергетикой, которая более десяти лет назад была намного дороже, а её востребованность была под вопросом.

Утверждается, что с 2020 года все глобальные операции компании на 100 % обеспечиваются «чистой» и возобновляемой энергией. Сейчас на долю Meta✴ уже приходится 12 ГВт возобновляемой энергии по всему миру, но для ИИ ЦОД будущего этого может и не хватить. Первоначальных откликов на PFR будут ожидать до 7 февраля 2025 года.

Развитие энергоёмких ИИ-систем кардинально меняет структуру ЦОД в Европе. Если когда-то Ирландия была «сердцем» IT-индустрии континента, то теперь страна может потерять свои преимущества. Дело в том, что энергетическая инфраструктура страны и ЦОД гиперскейл-уровня с трудом поспевают за ростом спроса на ИИ-технологии — это ставит под угрозу её положение «общеевропейского ЦОД», сообщает eWeek.

Ирландия давно стала ключевым игроком на рынке дата-центров, а Дублин — локацией с высокой концентрацией ЦОД гиперскейлеров. По информации Synergy Research Group, в этом отношении ирландская столица занимает третье место после Северной Вирджинии и Лондона.

Amazon, Microsoft и Google используют масштабные сети ЦОД для своих облачных сервисов. Но из-за роста спроса на электричество в связи с развитием ИИ энергосистема страны работает на пределе возможностей. Не так давно сообщалось, что ирландские ЦОД увеличили энергопотребление на 473 % за восемь лет.

Эксперты предполагают, что потребности ИИ в электричестве вырастут вдвое уже к 2026 году, что окажет огромное давление на энергосистему Ирландии. Недостаток модернизированных сетей в стране побудил местного сетевого оператора EirGrid ввести мораторий на новые заявки для подключения ЦОД с ноября 2021 года.

Источник изображения: Datacenters.com

Уже сейчас на дата-центры приходится 21 % энергопотребления в Ирландии, впервые по этому показателю они обошли городские домохозяйства. Местные регуляторы предупреждают о дефиците энергии и увеличении потребительских расходов на неё из-за высокой скорости роста спроса — он растёт быстрее, чем развивается инфраструктура.

Пока в Ирландии ищут выход из сложившегося положения, другие страны Евросоюза способны использовать в своих интересах рост спроса на ЦОД. У Франции в резерве значительные мощности ядерной энергетики, а на севере Европе подходящий для ЦОД климат и немало источников возобновляемой энергии. По данным McKinsey, регионы с доступной низкоуглеродной энергетикой будут играть в индустрии ЦОД ключевую роль в ближайшие годы. Техногиганты стремятся минимизировать затраты и добиться нулевых показателей выбросов, многие из них уже нацелились на Северную Европу и Францию.

Следующие несколько лет станут решающими для Ирландии — станет понятно, способна ли страна модернизировать энергетическую инфраструктуру, чтобы сохранить доминирование в облачном бизнесе — или она уступит позиции другим европейским игрокам. IT-гиганты AWS, Google и Microsoft даже готовы прокладывать собственные линии электропередач в стране из-за нехватки государственных. Кроме того, Equinix и Microsoft тестируют в Ирландии генерацию экобезопасной энергии на местах, а Microsoft и вовсе разрешили построить собственную газовую электростанцию.

Уходящая администрация действующего президента США Джо Байдена (Joe Biden) объявила об ограничениях экспорта в Китай высокопроизводительной HBM-памяти, критически важной для производства ИИ-ускорителей. Запрет коснётся более сотни китайских организаций, сообщает The Register.

Ограничения, обновлённые и анонсированные Бюро промышленности и безопасности (BIS) в минувший понедельник, препятствуют экспорту HBM в ряд стран, в частности — в КНР. Модули такой памяти производятся всего несколькими поставщиками в мире, включая южнокорейские Samsung и SK Hynix, а также американскую Micron. В модулях HBM применяются передовые технологии упаковки, недоступные КНР. В Китае активно ведутся работы по импортозамещению технологий. В частности, над собственными HBM-модулями трудится ChangXin Memory Technologies (CXMT).

Источник изображения: Debbie Molle/unsplash.com

HBM чрезвычайно важна для обучения ИИ и инференса и гораздо эффективнее (G)DDR, хотя она дороже и потребляет больше энергии. В последних поколениях оборудования память порой даже важнее FP-производительности. Например, в версиях NVIDIA H200 и AMD MI325X HBM3 заменена на более быструю HBM3e. Особенно результаты заметны при эксплуатации больших языковых моделей (LLM). Однако для моделей поменьше достаточно более простых и доступных ускорителей NVIDIA и AMD с памятью GDDR.

По новым правилам производители памяти должны будут получать специальные экспортные лицензии для продажи HBM китайскому бизнесу. Как показал опыт Cerebras и Groq, при выполнении некоторых технических условий можно обойтись и SRAM. Оба разработчика добились отличных показателей при инференсе, даже в сравнении с решениями с HBM. Пока неизвестно, сможет ли SMIC предложить собственное решение аналогичного класса. В любом случае, запрет на экспорт в Китай HBM не означает завершение масштабных китайских ИИ-проектов.

При Байдене США уже ввели множество ограничений на экспорт, чтобы лишить Китай доступа к технологиям, связанным с передовыми полупроводниками и ИИ-ускорителями, в том числе на поставки высокопроизводительных чипов и литографических EUV-машин для их выпуска. Тем не менее, успехи КНР в сфере ИИ ставят под сомнение эффективность санкций.

Amazon представила сервис AWS Data Transfer Terminal — пункты, где можно быстро и безопасно выгрузить большие объёмы данных в облако AWS. Первые терминалы расположены в Лос-Анджелесе и Нью-Йорке, в будущем планируется добавить пункты приёма данных и в других локациях по всему миру.

Использование пунктов AWS Data Transfer Terminal позволит значительно снизить время передачи данных (не считая времени на дорогу и обратно) в хранилища S3, EFS и др. Например, можно выгрузить большие датасеты от парка беспилотных машин, видеофайлы или картографические данные для дальнейшего анализа и обработки. Также с собой можно принести носители Snowball, хотя в целом AWS постепенно сворачивает сервисы Snow по физической доставке данных в облако.

Источник изображения: AWS

Список терминалов доступен в AWS Management Console, где можно заранее назначить дату и время визита и вписать участников. В назначенный час сотрудник AWS проверит документы и проводит до отдельной комнаты, где есть патч-панель, оптоволоконный кабель и ПК. Патч-панель интегрирована в небольшую стойку, а компьютер можно использовать для контроля процесса передачи данных. Примечательно, что в целях безопасности на зданиях и в помещениях нет никаких символов AWS. Плата за гигабайты не предусмотрена, вместо этого платить придётся за время загрузки в регионы AWS. При этом доступны только те регионы, которые находятся на том же континенте, где и пользователь.

В этом году в России значительно увеличились инвестиции разработчиков вычислительной техники в развитие ИИ-оборудования, пишет «Коммерсантъ» со ссылкой на данные участников рынка. По оценкам экспертов, на разработку сервера с ИИ с постановкой на производство уходит в среднем 100 млн руб.

В консорциуме АНО «Вычислительная техника» (АНО ВТ, объединяет 33 разработчика вычислительной техники, в том числе «Аквариус», Yadro, ГК «Элемент» и др.) сообщили о росте объёма инвестиций в оборудование для ИИ на 40 %. По данным консорциума, доля вложений в это направление в финансировании разработок составила в этом году 14,2 %, а выпуск ИИ-оборудования увеличился на 10,5 %. Как ожидают в АНО ВТ, в течение трех лёт на оборудование для ИИ будет приходиться в среднем 23,7 % выручки разработчиков электроники.

О 40-процентном росте инвестиций в разработку серверов для ИИ сообщили и в Fplus. На данный момент компания разработала четыре модели ИИ-серверов, которые будут внесены в реестр Минпромторга. В Kraftway тоже отметили увеличение инвестиций в оборудование для ИИ в 2024 году. Компания планирует в 2025 году больше инвестировать в разработку и производство СХД для нейросетей, поскольку с развитием ИИ уже со следующего года к этому оборудованию, как ожидается, возникнет серьёзный интерес.

Источник изображения: Fplus

В компании «Гравитон» сообщили о разработке нескольких платформ для ИИ, которые появятся на рынке в 2025 году. По данным компании, за девять месяцев 2024 года спрос госкомпаний на ИИ-серверы вырос вдвое. В НТЦ «Модуль» отметили значительный рост интереса к своей продукции, в том числе, к ИИ-серверам, и рассказали о планах увеличить в следующем году выпуск собственных нейроускорителей в различном исполнении.

На сервисы Meta✴ сегодня приходится 10 % кабельного и 22 % мобильного трафика мира. Инвестиции компании в ИИ должны даже увеличить эту долю, поэтому в Meta✴ готовят новую инфраструктуру для поддержки соответствующего бизнеса, сообщает TechCrunch. Речь идёт о новом кабеле огромной протяжённости.

По данным источников TechCrunch, компания намерена проложить оптоволоконный кабель протяжённостью более 40 тыс. км, опоясывающий буквально весь мир, на что потребуются инвестиции в объёме $10 млрд. Проект рассчитан на годы работы. Впрочем, пока он находится на ранних стадиях, а сама компания должна официально объявить о новой инициативе в начале 2025 года. Задача будет непростой, поскольку компании вроде SubCom, способные прокладввать необходимую инфраструктуру, завалены контрактами на годы вперёд, в том числе от других гиперскейлеров.

После завершения строительства Meta✴ получит собственный выделенный канал для передачи данных по всему миру. По словам источников, кабель протянется от восточного побережья США до Индии через Южную Африку, а оттуда дойдёт до западного побережья США через Австралию. Фактически появится огромная W-образная структура.

Источник изображения: frank mckenna/unsplash.com

Meta✴ уже является совладельцем 16 существующих кабельных систем, включая 2Africa, опоясывающий африканский континент. При этом в Африке участниками проекта являются и многие другие компании, а владельцем нового кабеля глобального масштаба станет только Meta✴. В результате компания станет полноправным игроком на рынке кабельной инфраструктуры наравне с Google — последняя участвует приблизительно в 33 кабельных проектах. Долю в некоторых также имеют Amazon (AWS) и Microsoft, хотя в полной собственности кабелей у них нет. Тем не менее, ландшафт уже поменялся — в скором времени значительную часть подводных интернет-магистралей будут контролировать мегакорпорации.

Владение собственным кабелем даст Meta✴ возможность распределять трафик на территориях его пролегания. При этом компания утверждает, что экономический эффект от её инвестиций в подводную инфраструктуру регионов превысил $500 млрд. Конечно, основной мотив более прагматичен — IT-компании не желают полагаться на операторов связи для доставки контента, рекламы и прочей информации по всему миру. При этом внутри стран для получения доступа к «последней миле» всё ещё приходится договариваться с местными операторами.

Ещё одной причиной прокладки собственных кабелей является геополитика. Кабели уже повреждали в Красном море, в недавнем инциденте в Балтийском море тоже искали политическую подоплеку. По данным источников TecCrunch, задуманный Meta✴ маршрут поможет компании избежать «зон напряжённости» — Красного и Южно-Китайского морей, Египта, Марселя, Малаккского пролива и Сингапура.

Источник изображения: Submarine Cable Map

Другим стимулом может стать пересмотр Федеральной комиссии по связи США (FCC) принципов лицензирования подводных кабелей — Meta✴ станет буквально единственным владельцем кабеля, проходящего через безопасные коридоры. Также имеет значение и возможное строительство участка до Индии — страна имеет большие планы по развитию ИИ и дополнительная пропускная способность обязательно будет востребована. Кроме того, Индия сама по себе является ключевым рынком для Meta✴ — это крупнейший пользователь Facebook✴, Instagram✴ и WhatsApp в мире с большим потенциалом роста.

Пока источники не знают, является ли ИИ значимой частью «уравнения» Meta✴ в новом проекте, так и того, откроет ли компания новую цифровую магистраль и для других пользователей или будет применять её только в собственных нуждах. Ранее уже появлялась информация о гипотетическом кабеле Meta✴ глобального масштаба, но тогда шла речь об инвестициях лишь $2 млрд.

Компания Gartner обнародовала прогноз по мировому рынку публичных облачных услуг на 2025 год. Отрасль демонстрирует стремительный рост на фоне продолжающегося развития ИИ-приложений, включая генеративные сервисы.

Аналитики учитывают затраты на платформы SaaS, IaaS и PaaS, а также DaaS (десктоп как сервис). По оценкам, в 2024-м объём отрасли достигнет $595,7 млрд, показав прибавку на уровне 19,2 % по отношению к предыдущему году. При этом наибольшую выручку обеспечит сектор SaaS — $250,8 млрд. Ещё приблизительно $171,6 млрд придётся на PaaS, около $169,8 млрд — на IaaS. Наименьший вклад внесёт DaaS-направление с расходами $3,5 млрд.

Источник изображения: Gartner

В 2025 году, по мнению специалистов Gartner, отрасль продемонстрирует рост на 21,5 %: выручка поднимется до $723,4 млрд. Доминирующим сегментом останется SaaS с прибавкой на уровне 19,2 % в годовом исчислении и результатом примерно $299,1 млрд. Максимальные темпы роста прогнозируются в секторе IaaS — плюс 24,8 % год к году. В результате, выручка от этих услуг достигнет $211,9 млрд. Причём сегмент IaaS по денежным поступлениям опередит сферу PaaS, где выручка ожидается на уровне $208,6 млрд с ростом на 21,6 % по отношению к 2024-му. В области DaaS увеличение составит около 11,1 % — до $3,8 млрд.

В Gartner также говорят о росте популярности концепции CIPS — Cloud Infrastructure and Platform Services. Речь идёт о полнофункциональной платформе, предоставляющей IaaS и PaaS в виде интегрированных облачных сервисов. Аналитики прогнозируют, что расходы конечных пользователей на CIPS поднимутся на 24,2 % в 2025 году и достигнут $301 млрд. Ожидается, что в 2025 году предложения CIPS составят 72 % суммарных затрат на IaaS и PaaS по сравнению с 70 % в 2022 году.

В продажу поступила компактная плата Milk-V Megrez, предназначенная для построения систем на архитектуре RISC-V. Новинка ориентирована в первую очередь на разработчиков: говорится о поддержке таких фреймворков, как PyTorch, TensorFlow, PaddlePaddle, ONNX и пр.

Изделие выполнено в форм-факторе Mini-ITX с размерами 170 × 170 мм. Применён процессор ESWIN EIC7700X: он содержит четыре ядра SiFive P550 (RV64CG) с тактовой частотой до 1,8 ГГц. Встроенный графический блок Imagination AXM-8-256 обладает поддержкой OpenGL ES 3.2, EGL 1.4, OpenCL 1.2/2.1 EP2, Vulkan 1.2. В состав чипа входит нейропроцессорный узел (NPU) с производительностью 19,95 TOPS в режиме INT8 и 9,975 TOPS в режиме INT16.

Источник изображения: Milk-V

Milk-V Megrez может нести на борту 8, 16 или 32 Гбайт оперативной памяти LPDDR5-6400 (впаяна на плату). Есть коннекторы M.2 для SSD с интерфейсом SATA-3 и eMMC для флеш-модуля, слот для карты microSD и порт SATA-3. Предусмотрен также слот PCIe х8 (PCIe 3.0 x4): возможна, в частности, установка ускорителя AMD 7900 XTX. В оснащение включены двухпортовый сетевой контроллер 1GbE и разъём M.2 E-Key для адаптера беспроводной связи.

Для вывода изображения служит интерфейс HDMI 2.0. Заявлена возможность декодирования видеоматериалов H.265 8K@50р и кодирования H.265 up to 8K@25р. Доступны четыре порта USB 3.0 Type-A, два гнеза RJ-45 для сетевых кабелей, аудиовход и аудиовыход на 3,5 мм. Питание (12 В) может подаваться через DC-разъём. Цена платы варьируется от $200 до $270 в зависимости от объёма ОЗУ.