Компания Intel борется за выживание на рынке ИИ-решений и в конце сентября официально представила свой новейший ускоритель — 5-нм Gaudi 3. Однако по данным аналитического агентства TrendForce, IT-гигант сократил планы поставок соответствующих чипов более чем на 30 % в 2025 году. Это может повлиять на бизнес-партнёров компании из цепочки поставок на Тайване.

Агентство ссылается на отчёт Economic Daily News. В нём указывается, что новые меры могут быть связаны с изменением внутренней политики Intel и спроса, что побудило компанию сократить заказы на Тайване. После снижения объёмов выпуска место IT-гиганта на фабриках TSMC займут другие клиенты. То же касается и ASE, а также её дочерней SPIL, оказывающих Intel услуги по упаковке и тестированию микросхем.

Для Alchip, проектирующей специализированные ASIC для Intel Gaudi 2 и Gaudi 3, ситуация может оказаться более сложной. Unimicron, которая считается главным поставщиком подложек для чипов Intel, тоже довольно сильно зависит от объёмов заказов последней. Но в Unimicron сохраняют оптимизм, поскольку рассчитывают, что во II половине 2024 года спрос на ИИ-ускорители и оптические модули вырастет.

Источник изображения: Intel

Отраслевые источники сообщают, что изначально в 2025 году планировалось отгрузить 300–350 тыс. ускорителей Gaudi 3, но теперь речь идёт лишь о 200–250 тыс. По имеющимся данным, после покупки израильского производителя Habana Labs в 2019 году, Intel, вероятно, весьма прохладно относится к идее совместной разработки ИИ-ускорителей нового поколения со сторонними компаниями. Более того, она ускоренно сворачивает выпуск Gaudi 2.

Новость об изменениях структуры производства компании отнюдь не первая в 2024 году. В мае сообщалось, что Intel отказалась от ускорителей Ponte Vecchio в пользу Gaudi и Falcon Shores. Позже появились предположения о том, что создание Falcon Shores будет свёрнуто в рамках плана по выводу компании из кризиса, но Intel поспешила развеять сомнения, сообщив, что эту серию ускорителей всё же выпустят. Вероятно и то, что в них интегрируют элементы Gaudi.

В современном мире электроэнергии не достаёт не только операторам дата-центров. По данным The Register, тайваньский производитель серверов Quanta Computer объявил о покупке трёх комплектов на топливных элементах Bloom Energy — от них будет питаться один из заводов компании в Калифорнии. Местная коммунальная компания фактически расписалась в своём бессилии, объявив, что сможет обеспечить электроснабжение предприятия только через несколько лет.

Ещё два комплекта производитель приобрёл в апреле этого года. Апрельская закупка обошлась компании в $50 млн, а нынешняя — в $80 млн. В предварительном заявлении производителя сообщается, что применение инновационных модульных решений для микросетей, предложенное Bloom Energy, позволит Quanta Computer избежать задержек с поставками электричества. В качестве топлива можгут применяться природный газ, водород или даже биогаз.

В заявлении Quanta не раскрываются спецификации элементов, но известно, что речь идёт о системах Bloom Energy, которые могут масштабироваться от 200 кВт до 20 МВт. Так, вариант Bloom Series 10 предлагает микросеть на 10 МВт, электроэнергия обойдётся в $0,099/кВт∙ч. Bloom Energy уже ведёт дела со многими операторами ЦОД, например AWS и CoreWeave, на объектах которых будут внедряться её топливные ячейки.

Источник изображения: Bloom Energy

Многие отрасли, в первую очередь операторы ЦОД, уже обеспокоены дефицитом электричества. Особенно это касается инфраструктуры, использующей ресурсоёмкие ИИ-ускорители. Не видя более подходящих вариантов, многие обращаются к атомной энергетике — так, недавно Microsoft заключила соглашение о возобновлении работы реактора для своих ЦОД на печальной известной АЭС Three Mile Island в США.

По оценкам Dell'Oro Group, телекоммуникационные компании сокращают инвестиции в технологии 5G и фиксированной широкополосной связи. Капитальные затраты в соответствующем сегменте в I половине 2024-го снизились примерно на 10 % по сравнению с тем же периодом предыдущего года.

Аналитики называют несколько факторов, обуславливающих негативную динамику. Один из них — неопределённости, сформировавшиеся в условиях сложной макроэкономической ситуации и ухудшившейся геополитической обстановки. Кроме того, в ряде регионов имеются избыточные запасы компонентов. Плюс к этому наблюдается слабый рост в Китае, Индии и США.

Источник изображения: pixabay.com

Ожидается, что выручка операторов связи в мировом масштабе будет демонстрировать показатель CAGR (среднегодовой темп роста в сложных процентах) на уровне 1 % в течение следующих трёх лет. При этом прогнозируется, что капитальные затраты в телеком-секторе снизятся на несколько процентов в 2024 году, тогда как до 2026-го значение CAGR составит минус 2 %.

Аналитики Dell'Oro Group полагают, что капиталоёмкость (стоимость капитала, используемого при производстве продуктов/услуг, по отношению к стоимости самого продукта и по отношению к стоимости других факторов производства, в особенности труда) к 2026 году окажется на уровне 15 % по сравнению с 17 % в 2023-м. Капитальные затраты, связанные с беспроводной связью, будут уменьшаться в среднем на 3 % в год до 2026-го. Это связано в том числе с сокращением разрыва между развитыми и развивающимися регионами.

Техасский регулятор Public Utility Commission начал предупреждать операторов дата-центров о необходимости самостоятельно снабжать свои объекты электричеством, хотя бы частично. По данным The Register, бизнесу предлагается не пристраивать ЦОД к электростанциям, а возводить новую электростанцию одновременно с дата-центром.

Представители комиссии считают, что выдача разрешений на строительство в текущей ситуации угрожает дефицитом энергии, поскольку операторы дата-центров готовы скупить всё. Техас и без того страдал от недостатка электричества в отдельные моменты новейшей истории, поэтому заявляется, что изъять ресурсы для дата-центров из общих сетей — непозволительная роскошь, особенно в долгосрочной перспективе.

Многие гиперскейлеры и без того активно участвуют в энергопроектах. Например, AWS в марте согласилась потратить $650 млн на кампус ЦОД в Пенсильвании, подключенный к АЭС Susquehanna. Constellation Energy намерена заново ввести в эксплуатацию АЭС Three Mile Island для продажи энергии Microsoft. Google и Oracle тоже изучают вопрос использования АЭС или SMR для питания будущих гигаваттных дата-центров.

Источник изображения: Casey Horner/unsplash.com

Представители техасских властей уже заявили, что желающие подключиться к местным энергосетям операторы в ближайшие 12–15 месяцев должны будут сами поставлять некоторое количество энергии. По их мнению, IT-гиганты могут позволить себе строительство новых электростанций. А излишки энергии, если таковые будут, от этих станций можно передавать в сети общего пользования.

Многие операторы рассматривают в качестве альтернативы обычным станциям малые модульные реакторы (SMR) вроде разработок NuScale. Но, хотя соответствующих проектов немало, некоторые эксперты допускают, что такие реакторы вообще не заработают — из-за высокой цены и массы технических недостатков, мешающих им заменить решения на ископаемом топливе даже в теории. Во всяком случае, в коммерческой эксплуатации их пока нет.

Источник изображения: Documerica / Unsplash

В то же время AWS, например, рассматривала использование природного газа для электроснабжения некоторых ЦОД в Орегоне. На ирландском рынке ЦОД, где энергии тоже не хватает, Microsoft использует природный газ для питания нескольких дата-центров. Правда, по информации самой Microsoft, электростанция мощностью 170 МВт будет использовать 22 газовых генератора только временами, когда не справляется национальная энергосеть.

В прошлый четверг Министерство энергетики США также анонсировало вложение $1,5 млрд в четыре проекта энергопередачи, которые увеличат ёмкость американских сетей на 7,1 ГВт, что повысит надёжность местных энергетических сетей и, в частности, позволит подключить пока что изолированную энергосеть Техаса (ERCOT) к национальным магистралям.

В августе 2023 года Microsoft развернула в своём облаке Azure инстансы ND H100 v5 на базе NVIDIA H100 для HPC-вычислений и нагрузок ИИ. А теперь запущены машины ND H200 v5 с ускорителями NVIDIA H200, оптимизированные для инференса и обучения больших языковых моделей (LLM).

Новые инстансы объединяют восемь ускорителей NVIDIA H200, каждый из которых содержит 141 Гбайт памяти HBM3e с пропускной способностью 4,8 Тбайт/с. По сравнению с NVIDIA H100 объём памяти увеличился на 76 %, пропускная способность — на 43 %.

Для ND H200 v5 предусмотрена возможность масштабирования до тысяч ускорителей при помощи интерконнекта на базе NVIDIA Quantum-2 CX7 InfiniBand с пропускной способностью до 400 Гбит/с в расчёте на ускоритель (до 3,2 Тбит/с на виртуальную машину). В составе инстансов задействованы чипы Intel Xeon поколения Sapphire Rapids: каждая виртуальная машина насчитывает 96 vCPU. Объём памяти составляет 1850 Гбайт, вместимость локального хранилища — 28 000 Гбайт. Обеспечивается доступ к 16 облачным накопителям. Кроме того, используются восемь сетевых адаптеров (суммарно до 80 Гбит/c).

Источник изображения: Microsoft

Виртуальные машины ND H200 v5 имеют предварительную интеграцию с Azure Batch, Azure Kubernetes Service, Azure OpenAI Service и Azure Machine Learning. Говорится, что инстансы обеспечивают высокую производительность при решении различных задач, связанных с ИИ, машинным обучением и аналитикой данных.

Компания VAST Data, специализирующаяся на разработке инфраструктуры для ИИ, объявила о создании Cosmos — онлайн-сообщества, предназначенного для объединения ИИ-специалистов из разных отраслей. Учитывая стремительный темп изменений на рынке ИИ, оставаться в курсе последних достижений может быть непростой задачей, отметила VAST Data, добавив, что компании спешат внедрить ИИ, чтобы трансформировать свою деятельность. При этом ИИ-специалисты сталкиваются со сложными проблемами, требующими постоянного обучения и адаптации.

VAST Data сообщила, что сообщество Cosmos предоставит специалистам по ИИ возможность общаться, делиться передовым опытом и имеющимися знаниями. Благодаря обсуждениям в реальном времени, практическим занятиям и библиотеке ресурсов Cosmos поможет компаниями добиться успеха в их проектах по развитию ИИ, независимо от их сложности.

В качестве платформы для общения выбран Discord. Для обучения предлагаются практические лаборатории Cosmos Lab, где будет возможность ознакомиться с реальными примерами работы над ИИ под руководством экспертов, которые понимают аспекты развёртывания таких решений. Лаборатории призваны помочь специалистам углубить свои навыки в интерактивной среде. Центральным узлом сообщества станет форум Discourse. Это будет место для объёмного контента, включая подробные статьи, обмен знаниями, календари событий и презентации поставщиков. «Именно здесь Cosmos превращается в нечто большее, чем просто чат — это библиотека знаний, созданная сообществом для сообщества», — отметила VAST Data.

Источник изображения: VAST Data

VAST Data также уточнила, что Cosmos предназначено не только для тех, кто уже является экспертом: «Независимо от того, возглавляете ли вы команду ИИ, являетесь ли вы студентом, интересующимся тем, как ИИ повлияет на вашу будущую карьеру, или только начинаете развёртывать свою первую модель, Cosmos предлагает пространство, где вы можете учиться, сотрудничать и расти».

Соучредитель VAST Data Джефф Денворт (Jeff Denworth) сообщил ресурсу The Register, что одной из моделей функционирования нового сообщества является организация Open Compute Project, занимающаяся разработкой оборудования и лучших практик с помощью совместных усилий организаций-членов, выкладывающих свои решения в open source. Ещё один ориентир для Cosmos — Конференция RSA (RSA Conference), на которой обсуждаются технологии современной защиты информационных систем, проблемы безопасности, тенденции развития сетевых угроз и вредоносных программ и т.д.

Денворт также сообщил, что был разработан кодекс поведения участника и начался набор экспертов для руководства контентными треками. На должность менеджера сообщества назначен Джонас Росланд (Jonas Rosland), занимавший должности менеджера сообщества в VMware, CIQ и Dell EMC. К сообществу уже присоединились NVIDIA, xAI, Supermicro, Deloitte, WWT, Cisco, CoreWeave, Core42, NEA, Impetus, Run:AI и Dremio.

Источник изображения: VAST Data

Параллельно VAST Data объявила о новом сотрудничестве с NVIDIA, Cisco и Equinix, пишет ресурс Blocks and Files. На прошедшей неделе VAST Data представила решение VAST InsightEngine with NVIDIA для безопасного получения, обработки и извлечения всех корпоративных данных (файлов, объектов, таблиц и потоков) в режиме реального времени. В нём VAST Data интегрировала своё ИИ-хранилище и обработку данных с ускорителями NVIDIA и микросервисами NIM. Теперь ускорители могут напрямую работать с данными в массивах VAST, а микросервисы NIM работают непосредственно внутри программной среды VAST.

В свою очередь, Cisco в рамках сотрудничества с VAST Data планирует предлагать ПО VAST Data Platform на некоторых серверах UCS в качестве готовой интегрированной системы. Серверы Cisco UCS с ПО VAST Data и Cisco Nexus HyperFabric AI будут доступны в I половине 2025 года. А Equinix, которая уже предлагает оборудование Dell, NetApp, PureStorage и Seagate (Lyve Cloud) в 26 объектах IBX, планирует добавить платформу VAST для систем NVIDIA DGX, включая SuperPOD, а также платформу NVIDIA AI Enterprise. Сотрудничество с NVIDIA, Cisco и Equinix позволит VAST Data расширить возможности поставок своего продукта на рынки различных стран.

Компании Fujitsu и Supermicro объявили о стратегическом сотрудничестве, направленном на разработку серверов следующего поколения для широкого спектра рабочих нагрузок — от ИИ и НРС до облачных и периферийных задач. Кроме того, партнёры займутся разработкой СЖО для дата-центров. Речь, в частности, идёт о создании серверов на Arm-процессорах Fujitsu MONAKA.

MONAKA будут изготавливаться по 2-нм технологии TSMC. Они получат до 144 ядер, а также 12 каналов оперативной памяти DDR5, интерфейсы PCIe 6.0 с CXL 3.0. Говорится об использовании архитектуры Armv9-A с поддержкой векторных расширений SVE2. Изделия проектируются с прицелом на двухсокетные системы. Упомянуты возможность применения воздушного охлаждения и высокая энергетическая эффективность.

Выпуск чипов запланирован на 2027 год. На тот момент, как утверждает Fujitsu, эти решения будут демонстрировать двукратное превосходство по показателю производительности на Ватт над конкурирующими серверными процессорами. Разработка MONAKA является частью проекта, курируемого Японской Организацией по развитию новых энергетических и промышленных технологий (NEDO).

Источник изображений: Fujitsu

В рамках партнёрства Fujitsu и Supermicro объединят свои технические возможности и опыт для создания серверов, оптимизированных для различных нагрузок. Отмечается, в частности, что подход Supermicro Building Block к проектированию платформ позволяет быстро создавать и сертифицировать широкий спектр систем для ИИ, HPC и вычислений общего назначения в облачных средах и на периферии. Клиенты смогут выбирать системные компоненты, оптимизированные для их рабочих нагрузок и приложений. Помимо этого, компании сосредоточатся на экологически чистых IT-решениях в области СЖО стоечного масштаба.

Сотрудничество также распространится на Fsas Technologies — дочернюю структуру Fujitsu. Эта компания будет поставлять в глобальном масштабе решения для генеративного ИИ на базе платформы, объединяющей серверы Supermicro с GPU-ускорителями и услуги развёртывания для операторов ЦОД и предприятий.

Компания Submer, специализирующаяся на системах иммерсионного охлаждения для дата-центров, объявила о проведении раунда финансирования Series C, в ходе которого на развитие привлечено $55,5 млн. Программу возглавила инвестиционная фирма M&G, под управлением которой находятся активы в размере £346,1 млрд (около $454,1 млрд).

Submer была основана в 2015 году. Её штаб-квартира находится в Барселоне (Испания), тогда как производственная площадка Gigafactory располагается в Хьюстоне (Техас, США). Компания занимается разработкой систем погружного охлаждения для высоконагруженных ЦОД. При этом применяется нетоксичная охлаждающая жидкость SmartCoolant: она обеспечивает высокую эффективность в широком диапазоне температур, безопасность и стабильность состава. Кроме того, компания сотрудничает с другими производителями жидкостей.

Источник изображения: Submer

Согласно отчету Международного энергетического агентства (IEA), в 2022 году дата-центры по всему миру потребили 460 ТВт·ч энергии, что составляет почти 2 % от глобальных затрат. По прогнозам, к 2026 году этот показатель удвоится. Вместе с тем, как утверждает Submer, воздушное охлаждение и традиционные методы жидкостного охлаждения становятся все менее эффективными. Связано это с постоянно растущими вычислительными нагрузками в условиях стремительного развития ИИ. Решением проблемы, по заявлениям Submer, является погружное охлаждение.

В новом раунде финансирования, помимо M&G, приняли участие существующие инвесторы Planet First Partners и Norrsken VC, а также Mundi Ventures. Полученные деньги будут направлены на расширение бизнес-возможностей и привлечение новых клиентов в рамках глобальной экспансии. Submer намерена уделять приоритетное внимание освоению рынков США и Азиатско-Тихоокеанского региона.

Qualcomm, по сообщению Phoronix, планирует выпустить ускорители Cloud AI 80 (AIC080) для ИИ-задач. Информация о них появилась на сайте самого разработчика, а также в драйверах Linux. Речь идёт об «урезанных» версиях изделий Cloud AI 100, уже доступных на рынке.

Базовая версия Cloud AI 100 Standard выполнена в виде HHHL-карты (68,9 × 169,5 мм) с интерфейсом PCIe 4.0 х8 и пассивным охлаждением. Объём памяти LPDDR4x-2133 с пропускной способностью 137 Гбайт/с составляет 16 Гбайт. Есть также 126 Мбайт памяти SRAM. TDP равен 75 Вт. Заявленное быстродействие достигает 350 TOPS на операциях INT8 и 175 Тфлопс при вычислениях FP16. От них в своё время отказалась Meta✴, сославшись на сырость программной экосистемы и предпочтя разработать собственные ИИ-ускорители MTIA.

Источник изображений: Qualcomm

Кроме того, существует решение Cloud AI 100 Ultra в виде карты FH3/4L (111,2 × 237,9 мм). Для обмена данными служит интерфейс PCIe 4.0 х16; значение TDP равно 150 Вт. В оснащение входят 128 Гбайт памяти LPDDR4x, пропускная способность которой достигает 548 Гбайт/с. Объём памяти SRAM — 576 Мбайт. INT8-производительность составляет до 870 TOPS, FP16 — до 288 Тфлопс.

Сообщается, что к выпуску готовятся «урезанные» ускорители Cloud AI 80 Standard и Cloud AI 80 Ultra. Их характеристики в точности соответствуют таковым у Cloud AI 100 Standard и Cloud AI 100 Ultra. Отличия заключаются исключительно в пониженном быстродействии. Так, у Cloud AI 80 Standard производительность INT8 находится на уровне 190 TOPS, FP16 — 86 Тфлопс. У Cloud AI 80 Ultra значения равны 618 TOPS и 222 Тфлопс.

Нужно отметить, что в старшее семейство также входит модель Cloud AI 100 Pro в формате карты HHHL с интерфейсом PCIe 4.0 х8 и TDP 75 Вт. Она несёт на борту 32 Гбайт памяти LPDDR4x (137 Гбайт/с) и 144 Мбайт памяти SRAM. Производительность INT8 составляет до 400 TOPS, FP16 — до 200 Тфлопс. Появится ли подобная модификация в серии Cloud AI 80, пока не ясно.

Глобальная консалтинговая компания Accenture и NVIDIA объявили о расширении партнёрства, в рамках которого Accenture создала новую бизнес-группу Accenture NVIDIA Business Group с целью помочь предприятиям быстро внедрить и масштабировать ИИ-решения. Также будет проведено обучение 30 тыс. сотрудников Accenture по всему миру полному набору ИИ-технологий NVIDIA. Это одна из крупнейших сделок на рынке.

Новая структура Accenture сосредоточится на стимулировании корпоративного внедрения так называемых «агентных систем ИИ», используя преимущества ключевых программных платформ NVIDIA. Как сообщает ресурс CRN, директор по ИИ Accenture Лань Гуань (Lan Guan) заявил на встрече с журналистами, что агентные системы включают в себя «армию ИИ-агентов», которые работают вместе с людьми, чтобы «принимать решения и точно выполнять задачи даже в самых сложных рабочих процессах».

Согласно пресс-релизу, агентные системы — это прорыв в области генеративного ИИ. Они могут автономно действовать в соответствии с намерениями пользователя, создавать новые рабочие процессы и предпринимать действия с учётом окружения, что может целиком реорганизовать бизнес-процессы или отдельные функции. По словам Гуаня, в отличие от чат-ботов, таких как ChatGPT, ИИ-агенты не требуют запросов и подсказок от людей и не предназначены для автоматизации уже существующих бизнес-шагов.

Источник изображения: Accenture

В своей работе Accenture NVIDIA Business Group будет полагаться на собственную платформу AI Refinery, которая использует полный стек NVIDIA AI, включая NVIDIA AI Foundry, AI Enterprise и Omniverse для продвижения таких направлений, как реорганизация процессов, моделирование на основе ИИ и суверенный ИИ. AI Foundry помогает в разработке кастомных ИИ-моделей, предоставляя доступ к базовым моделям, фреймворкам и инструментам. AI Enterprise предлагает микросервисы и инструменты для разработки, оптимизации и развёртывания приложений ИИ. Наконец, Omniverse ориентирована на создание цифровых двойников производственных процессов и т.п.

Accenture также заявила, что открывает сеть инженерных ИИ-центров в Сингапуре, Токио, Малаге и Лондоне, которые помогут ей во внедрении агентных систем ИИ. Эти центры станут частью Центра передового ИИ Accenture (Center for Advanced AI) в дополнение существующим филиалам в Маунтин-Вью и Бангалоре, и будут сосредоточены на подборе и тюнинге базовых моделей с последующим крупномасштабном инференсом. Кроме того, Accenture предложит NVIDIA NIM Agent Blueprints, шаблоны ИИ-приложений NIM Agent Blueprints для типовых бизнес-задач.

Источник изображения: Simon Kadula / Unsplash

В частности, Accenture подготовит Blueprint для моделирования производств с использованием парка роботов, который объединяет NVIDIA Omniverse, Isaac и Metropolis. Accenture планирует использовать эти новые возможности в Eclipse Automation, принадлежащей её компании по автоматизации производств. Это позволит вполовину ускорить подготовку проектов и почти на треть сократить время развёртывания.

Следует отметить, что на прошлой неделе Accenture сообщила о том, что в 2024 финансовом году, закончившемся 31 августа, у неё было на $3 млрд новых заказов на генеративный ИИ, $1 млрд из которых пришёлся на IV квартал. Для NVIDIA партнёрство с Accenture является частью реализации плана по расширению влияния на глобальных системных интеграторов (GSI) и другие многонациональные компании, которые имеют значительное влияние на предприятиях. Например, Infosys год назад заявила, что обучит и сертифицирует в рамках партнёрства с NVIDIA 50 тыс. сотрудников, которые изучат особенности аппаратных и программных ИИ-решений NVIDIA.