Armada представила свой самый мощный модульный ЦОД — 10-МВт Orion из семейства Galleon с возможностью масштабирования до 200 МВт на одном объекте. Orion впятеро мощнее Leviathan (1,77 МВт), который сам по себе был на порядок мощнее своего предшественника. Orion предназначен для включения в уже существующую инфраструктуру, с его помощью можно масштабировать распределённые проекты до сотен мегаватт на разных площадках.

Продукт можно размещать совместно с распределёнными источникам энергии, включая пока не используемые или энергетические решения «за счётчиком». Каждый модуль оснащён вычислительными ресурсами, сетевым оборудованием, системами электропитания и охлаждения. Ядро из шести модулей поддерживает до 2880 ускорителей в 40 стойках. Система совместима с NVIDIA Blackwell и готова к переходу на Vera Rubin. Время готовности модулей составляет несколько месяцев вместо обычных нескольких лет.

Источник изображения: Armada

На днях Armada объявила о заключении контракта с оператором ЦОД Fossefall, действующим на территории северных стран, о внедрении модулей Leviathan совокупной мощностью более 9 МВт, поставки ожидаются к I кварталу 2027 года. Сделка оценивается в «сотни миллионов норвежских крон» и обеспечит поддержку проектов в Норвегии, Швеции и Финляндии. Fossefall заявила, что инфраструктура ИИ-ускорителей будет принадлежать ей, она же будет заниматься управлением оборудованием в модулях Leviathan.

Компания заявила, что выбрала Armada по многим причинам, в том числе благодаря возможности партнёра выпускать модульные ЦОД в Европе, что обеспечит надёжные поставки и снизит зависимость от глобальные перебоев. Предполагается преобразование «чистой» энергии в высокотехнологичные ИИ-мощности с сохранением национального контроля за критически важными технологиями. Это поможет создать статью экспорта в миллиарды норвежских крон и обеспечит значительные преимущества для местной экономики.

Южнокорейская SK Telecom основала новую компанию SK Horizon, специализирующуюся на инфраструктуре ИИ ЦОД. Первоначальные инвестиции в её бизнес составят ₩3,08 трлн ($2,2 млрд), которые выделят KKR и IMM Investment-Stonebridge, сообщает Datacenter Dynamics. Ранее SK Telecom запустила подразделение SK Hyper, специализирующееся на строительстве дата-центров гигаваттного класса, и выделила ему $508 млн.

SK Horizon будет выделена из подразделения SK Telecom — SK Broadband, юридическое лицо которого при этом сохранится как отдельный бизнес. SK Horizon будет уделять первоочередное внимание сектору ИИ ЦОД, а также расширению своей инфраструктуры до 318 МВт. В результате раздела новая компания получит восемь дата-центров, уже действующих в нескольких регионах Южной Кореи: Сочхо (Seocho), Пундан (Bundang), Касан (Gasan), Сентум (Centum), Янчжу (Yangju), Пангё (Pangyo), Ильсан (Ilsan). Компания объявила, что уже строятся новые дата-центры, также предполагается поэтапно расширять собственную подводную кабельную инфраструктуру.

По словам SK Telecom, реструктуризация позволит компании контролировать весь бизнес группы в сфере ИИ ЦОД, а новая упрощённая структура принятия решений позволит более эффективно привлекать инвестиции для ключевых направлений деятельности. KKR и южнокорейская IMM обеспечит SK Horizon $2,2 млрд в обмен на доли в капитале нового бизнеса, 29 % и 20 % соответственно. У SK Telecom останется контрольный пакет 51 %.

Источник изображения: SK Horizon

Остаток SK Broadband будет уделять основное внимание услугам фиксированной связи, медиа и корпоративному бизнесу. По имеющимся данным, как SK Broadband, так и SK Horizon будет возглавлять Ким Сон-су (Kim Seong-soo), хотя официально назначение ещё не утверждено. По словам топ-менеджера, реструктуризация усилит компетенции бизнеса и ускорит реализацию проектов в сфере ИИ ЦОД, поскольку компания намерена стать ведущим оператором дата-центров в Корее.

Источник изображения: SK Telecom

В конце июля SK Group и NVIDIA объявили о совместных инициативах в Южной Корее на $500 млрд. В июне сообщалось, что Южная Корея анонсировала масштабный инвестиционный план с целью ускорения технологического развития страны, включающий три крупнейших проекта, которые направлены на укрепление цепочек поставок полупроводников, создание инфраструктуры ИИ и развитие индустрии физического ИИ. Общий объём инвестиций должен составить более ₩3,755 квадрлн (приблизительно $2,74 трлн) в течение следующих десятилетий.

Французская Mistral и саудовская Humain достигли соглашения о внедрении суверенных ИИ-вычислений в Саудовской Аравии и на Ближнем Востоке в целом. В рамках партнёрства Mistral «изучит использование инфраструктуры ЦОД партнёра в регионе», сообщает Datacenter Dynamics.

Дополнительно сообщается, что компании будут совместно работать над разработкой и внедрением ИИ-моделей, с особым вниманием к решениям в сфере кибербезопасности и голосовых технологий. Соглашение оценивается в «сотни миллионов евро». Также Humain и Mistral работают над стратегией выхода на рынок в Саудовской Аравии для предложения ИИ-решений регулируемым отраслям. Эти решения должны отвечать местным требованиям к обеспечению суверенитета данных.

Humain представляет поддерживаемую Саудовской Аравией ИИ-структуру. Компания строит крупные ЦОД в Эр-Рияде (Riyadh) и провинции Даммам (Dammam). Площадки получать первоначальную мощность на уровне 100 МВт каждая, но Humain намерена обеспечить мощность ЦОД на уровне 6 ГВт в следующем десятилетии. Компания также объявляла, что владеет 211 участками земли в Саудовской Аравии для дальнейшего расширения парка ЦОД.

Источник изображения: Mistral

В июле европейская Mistral подписала соглашение с Microsoft о расширении ИИ-инфраструктуре в Европе. Партнёрство предусматривает многомиллиардные инвестиции Microsoft в ИИ-инфраструктуру по всему региону, которой техногигант «поделится» с Mistral. Ранее компания намеревалась получить под контроль 200 МВт вычислительных мощностей в Европе к концу 2027 года. Позже появилась информация, что она рассчитывает на 1 ГВт в Европе к 2030 году.

Также в марте 2026 года компания привлекла $830 млн долгового финансирования для покупки ИИ-ускорителей в запланированный в окрестностях Парижа ЦОД и подписала соглашение с Digital Realty об аренде мощностей во французской столице. В сентябре 2025 года она уже привлекла на развитие €1,7 млрд при участии ASML в ходе раунда финансирования серии C. Летом того же года сообщалось, что Mistral ведёт переговоры с базирующимся в Абу-Даби (ОАЭ) фондом MGX и другими структурами о привлечении до $1 млрд акционерного капитала для обеспечения конкуренции с OpenAI.

Рост цен на чипы памяти может привести к тому, что к следующему году на расходы облачных операторов ЦОД, связанные с DRAM- и NAND-памятью будет приходиться более ⅔ от их капитальных затрат в целом, сообщает TrendForce. Аналитики прогнозируют, что общие капитальные расходы облачных операторов в этом году почти удвоятся (вырастут на 98 %), а в 2027 году увеличатся ещё на 50 %.

Быстрый рост отчасти обусловлен ростом инвестиций в новую инфраструктуру, но также и увеличением счетов за память. В результате, по оценкам TrendForce, на DRAM- и NAND-память будет приходиться 47 % всех расходов на оборудование в текущем году, в 2027 году показатель вырастет до 68 %.

Конкретных прогнозов выручки аналитики не приводят, но утверждают, что к концу 2026 года объём рынка серверной DRAM-памяти вырастет г/г на 270 %, а цены на SSD корпоративного класса — на 235 %. Дефицит высокопроизводительной памяти ведёт к тому, что производители отдают приоритет при производстве серверным продуктам. По оценкам TrendForce, на используемую ИИ-ускорителями HBM, а также RDIMM для серверов в совокупности придётся более половины поставок DRAM в текущем году.

Источник изображений: TrendForce

Это уже отразилось на ценах ПК, растущих двузначными темпами в процентном отношении из-за дефицита стандартных модулей памяти. В ответ на это поставки ПК упали на 5 %, а поставки смартфонов в текущем году, вероятно, упадут на 15 %. Корпоративным пользователям всё труднее игнорировать происходящее. Поскольку на память приходится всё большая доля капитальных затрат облачных провайдеров, весьма вероятно, что расходы в конечном итоге лягут на плечи клиентов.

Ранее в этом месяце европейский оператор ЦОД OVHcloud предупредил, что намерен повысить цены на 87 %, чтобы покрыть рост цен на память. Весьма вероятно, что его примеру последуют и другие провайдеры. Более того, TrendForce полагает, что дорожающая память позволит производителям серверов и чипов вроде оправдать рост цен и на свои решения. Так, NVIDIA уже предупредила крупных клиентов о росте цен на продукты на платформах Vera Rubin и Grace Blackwell на 15 %.

NVIDIA объявила финансовые результаты за II квартал 2027 финансового года, закончившийся 26 июля 2026 года. Как отметило агентство Reuters, результаты NVIDIA свидетельствуют о том, что бум ИИ еще не закончился. Выручка компании увеличилась более чем вдвое год к году до $96,22 млрд (+106 %), также превысив консенсус-прогноз аналитиков, опрошенных LSEG, в размере $92,17 млрд (по данным CNBC).

Скорректированная чистая прибыль на разводнённую акцию (Non-GAAP) составила $2,22, что на 120 % больше, чем годом ранее, а также больше консенсус-прогноза аналитиков Уолл-стрит в размере $2,10. Чистая прибыль (GAAP) достигла $59,69 млрд (рост год к году на 126 %) или $2,46 на разводнённую акцию. Прогноз выручки за III квартал составляет $108 млрд ± 2 %, против прогнозируемых Уолл-стрит $104,19 млрд. NVIDIA не учитывает в своём прогнозе выручку от поставок ускорителей для ЦОД в Китае.

Источник изображений: NVIDIA

Финансовый директор NVIDIA Колетт Кресс (Colette Kress) заявила, что компания ставит перед собой цель достичь темпов роста выручки в 70 % в 2028 финансовом году, то время как аналитики в преддверии публикации результатов сообщили об ожидаемом росте на 44 %. Это редкое заявление для компании, которая обычно не публикует подобные прогнозы. Кресс сообщила, что «прогнозы клиентов указывают на удвоение нашего роста в следующем году», добавив, что этот прогноз также отражает «ограничения поставок», с которыми приходится сталкиваться NVIDIA и другим производителям чипов.

«Мы никогда не делали прогнозов и не давали оценок на год вперед», — сказал основатель и гендиректор NVIDIA Дженсен Хуанг (Jensen Huang). «ИИ достиг переломного момента. Он выполняет полезную работу. Его ресурсы продуктивны и прибыльны. Теперь вычислительные мощности приносят доход», — отметил он.

«Что делает (прогноз) ещё более убедительным, так это то, что спрос расширяется за пределы первоначальных крупных поставщиков услуг, и теперь облачные сервисы для ИИ, предприятия, государственные покупатели и промышленные клиенты растут значительно быстрее», — сказал Шей Болур (Shay Boloor), главный рыночный стратег Futurum Equities.

Кресс также отметила, что стремительный рост цен на память и увеличение стоимости компонентов будут продолжать оказывать давление на рентабельность компании, добавив, что рентабельность достигнет минимума в IV финансовом квартале на уровне примерно 71-72 %, по сравнению с примерно 74 % в III финансовом квартале. Аналитики ожидают 74,77 % в III квартале.

Выручка подразделения ЦОД выросла более чем вдвое (на 117 %), достигнув $89,0 млрд, превысив прогноз аналитиков LSEG в $85,08 млрд. В настоящее время на подразделение ЦОД приходится 92% от общей выручки компании. Сегмент гиперскейлеров (Hyperscale) принёс $48,7 млрд (рост — 102 %), сегмент AI Clouds, Industrial, & Enterprise (ACIE), который включает облачные решения для ИИ, промышленного и корпоративного рынков, — $40,3 млрд (рост — 138 %).

NVIDIA ожидает, что спрос со стороны ИИ-лабораторий составит примерно четверть её общего бизнеса в следующем году, что указывает на диверсифицированную клиентскую базу. Компания добавила, что неооблачные платформы, включая Nebius и CoreWeave должны запустить в этом году чем 8 ГВт мощностей ускорителей NVIDIA, что значительно больше, чем 3 ГВт в конце прошлого года.

Выручка сегмента Edge Computing составила $7,2 млрд, что на 27 % больше год к году. Рост продаж был обусловлен высокими объёмами продаж рабочих станций на платформе Blackwell, частично компенсированными снижением продаж потребительских ПК, которое, в свою очередь, было смягчено повышением цен на память и системы, сообщила компания.

Несмотря на сегодняшний рост после закрытия торгов, очевидно, что многие инвесторы в этом году охладели к акциям NVIDIA, отметил ресурс SiliconANGLE. На момент закрытия рынка акции выросли всего на 13 % с начала года, немного опередив более широкий индекс Nasdaq. Некоторые инвесторы высказывают опасения в существовании пузыря в ИИ-индустрии, который может лопнуть, если NVIDIA не сможет угнаться за текущими темпами роста.

Также утверждается, что NVIDIA смогла добиться таких результатов только благодаря инвестициям в другие компании в сфере ИИ, предоставляя им капитал, необходимый для продолжения инвестиций в её собственные чипы. В ходе отчёта Дженсен Хуанг постарался развеять эти опасения, заявив аналитикам, что он хотел бы быть ещё более агрессивным в своих инвестициях в OpenAI и её конкурента Anthropic PBC перед их IPO. «Инвестиции в эти компании — это возможность, которая выпадает раз в поколение, — сказал Хуанг. — Единственное, о чём я жалею, это то, что не инвестировал больше и раньше».

Американская Anthropic PBC согласилась заплатить $45 млрд за аренду неооблачных ИИ-мощностей компании Nscale. Речь идёт об объекте в Западной Вирджинии, на который ранее претендовала Microsoft, сообщает Bloomberg. Компания стремится запастись вычислительными мощностями перед планируемым выходом на IPO. Оценка компании в мае составляла $965 млрд.

Nscale предоставит Anthropic ускорители NVIDIA Vera Rubin. Соглашение будет действовать в течение шести лет и касается приблизительно 460 МВт мощностей в первом ЦОД кампуса Monarch, общая мощность которого на момент полного ввода в эксплуатацию составит 1,35 ГВт. Строительство кампуса целиком и электростанции при нём обойдётся приблизительно в $71 млрд, из этих средств $47 млрд будут потрачены на ИИ-чипы. В остальных ЦОД серверы будут обеспечены электроэнергией в 2028 году.

Соглашение имеет важное значение для лондонской Nscale, поскольку та готовится к IPO уже в следующем месяце. В апреле сообщалось, что британские власти попытаются «заманить» к себе многомиллиардный бизнес Anthropic после конфликта последнего с Пентагоном, но после этого компания неоднократно заключала крупные сделки на территории США.

Источник изображения: Anthropic

Anthropic в последние месяцы заключила целый ряд соглашений и с другими компаниями. Так, с Fluidstack заключена сделка на $50 млрд, с Volta Infra Holdings — на $10 млрд, а со SpaceX — на $45 млрд. Сингапурский фонд благосостояния GIC и Macquarie основали Theseus Infrastructure для создания оператора ЦОД, обслуживающего нужды Anthropic в США.

Компания Amazon намерена добавить в свой парк ускорителей ещё 2 млн чипов NVIDIA в следующие два года. Это свидетельствует о том, что компания по-прежнему намерена использовать продукты NVIDIA, хотя и разрабатывает уже не первое поколение собственных конкурентоспособных ускорителей, сообщает Bloomberg.

Последняя сделка включает чипы NVIDIA поколений Blackwell Ultra, Rubin и Rubin Ultra. Впрочем, финансовых условий NVIDIA и Amazon не раскрывали. Крупнейшие и лучшими покупатели продуктов NVIDIA — Amazon, Microsoft и Google — довольно успешно занимаются разработкой собственных ускорителей. Облачные гиганты делают ставку на то, что они лучше могут адаптировать продукты к собственным дата-центрам, от прироста эффективности могут выиграть и их клиенты.

В последние годы Amazon активно инвестировала в собственное подразделение, занимавшееся разработкой чипов Annapurna Labs, которое предлагает как CPU, так и ускорители, призванные конкурировать с продуктами NVIDIA. Тем не менее, компании сохраняют теснейшее сотрудничество. Так, новейшее поколение ускорителей Trainium4 будет пользоваться преимуществами технологии NVLink Fusion. Заказчикам NVLink компания также предлагает и память NVHBM.

Источник изображения: NVIDIA

Дополнительно, как сообщает NVIDIA, компании намерены внедрять в AWS инфраструктуру на основе CPU Vera и создавать в интересах правительства США ИИ-фабрики, в том числе для задач обеспечения национальной безопасности. Платформу NVIDIA планируется интегрировать с AWS Nitro и EFA для обеспечения повышенной безопасности использования.

Также продолжится поддержка открытых ИИ-моделей NVIDIA Nemotron платформами Amazon Bedrock и Amazon SageMaker, благодаря чему пользователи последних получат расширенный набор ИИ-инструментов. Планируется и ускорить обработку данных, в т.ч. в Amazon EMR и Amazon OpenSearch путём использования библиотек NVIDIA cuDF и cuVS CUDA-X. Наконец, партнёры намерены и дальше развивать ИИ в сфере робототехники с внедрением платформы NVIDIA Physical AI компанией Amazon Robotics. Это ускорит автоматизацию работы складов и развитие роботов нового поколения.

По мере развития рынка ИИ-агентов и активного внедрения ИИ-моделей с триллионами параметров производительность сопутствующей ИИ-инфраструктуры требует не только роста вычислительных мощностей, но и эффективного проектирования в рамках единой системы вычислений, памяти, сети и ПО. Для помощи гиперскейлерам и другим клиентам, использующим NVLink Fusion, компания предложила память NVHBM.

В традиционной архитектуре HBM-контроллер размещается на кристалле XPU, занимая некоторую площадь, которую можно было бы использовать для вычислений. NVHBM построена по той же технологии, что NVIDIA будет использовать в своих будущих GPU — кастомный контроллер памяти интегрируется в основной кристалл HBM, благодаря чему NVHBM обеспечит до 30 % роста пропускной способности памяти и до 15 % снижения энергопотребления, а также высвободит до 25 % больше площади основного кристалла XPU в сравнении со стандартной памятью HBM4E.

Источник изображения: NVIDIA

Стандартный вариант реализации NVHBM будет доступен у нескольких поставщиков памяти. Это должно снизить объём инженерных работ, необходимых для интеграции и сертификации памяти разных производителей. Заказчики NVLink Fusion смогут быстрее выводить на рынок специализированные ИИ-ускорители. Подразделение Annapurna Labs компании Amazon первым получит возможность поработать над NVHBM в рамках более широкого сотрудничества с NVIDIA по развитию NVLink Fusion, которое предполагает интеграцию NVLink Fusion в ИИ-ускорители Trainium4.

NVLink Fusion уже позволяет подключать XPU и CPU к стоечной платформе NVIDIA, партнёры компании могут получить доступ к чиплетам NVLink-C2C, сетевым коммутаторам NVLink и стойкам NVIDIA MGX. Также возможно использование широкой номенклатуры CPU различных партнёров, разработчиков ASIC и др.

В обозримом будущем жители США смогут оказаться в неведении о том, насколько ближайший от них ЦОД загрязняет атмосферу. Агентство по охране окружающей среды (US Environmental Protection Agency, EPA) отменит минимальные требования к участию общественности в выдаче разрешений на выбросы для небольших объектов, сообщает The Register.

НКО Environmental Protection Network (EPN), состоящая из бывших сотрудников самого EPA, утверждает, что предложенное изменение «правил игры» позволит обойтись без обязательных требований к уведомлению общественности и сбору обратной связи для процедуры Minor New Source Review (NSR). Речь идёт о проверке новых источников загрязнения воздуха небольших масштабов в рамках Закона о чистом воздухе (Clean Air Act, CAA).

Вместо этого регуляторы, контролирующие качество воздуха на уровне штатов и местного самоуправления, смогут сами решать, нужно ли привлекать к рассмотрению в рамках Minor NSR общественность и насколько масштабным должно быть такое участие. Фактически власти на местах смогут решать, стоит ли вообще уведомлять население о новых источниках загрязнения или изменении состояния уже действующих.

EPN направила официальные публичные комментарии к предложенным изменениям, предупредила, что в результате жители окажутся в неведении о новых проектах. Например, речь может идти о больших генераторах на ископаемом топливе для ИИ ЦОД, которые могут посчитать слишком незначительными, чтобы назначать для них более строгую процедуру проверки. Отмена федерального требования об уведомлении общественности является продолжением политики действующей администрации США по отказу от ключевого для EPA принципа прозрачности.

Источник изображения: Mihail Cioinica/unsplash.com

Ранее в текущем году представитель EPA уже заявлял, что администрация Трампа не собирается устанавливать единые экологические правила для индустрии ЦОД в масштабах страны. Утверждалось, что лучше перенести бремя таких решений на уровень отдельных штатов и органов местного самоуправления, поскольку те лучше осведомлены о ситуации с водными ресурсами, качестве воздуха и потребностях в электричестве, значительно отличающихся от региона к региону.

В EPN указали на то, что новое предложение прямо противоречит прежнему меморандуму EPA о прозрачности, в котором заявлялось, что общественности нужно обеспечить «возможность доверять работе» регулятора. Кроме того, в заявлении содержался призыв обеспечить максимальное участие общественности в процессе принятия решений. В НКО считают, что без общественного контроля объекты уровня ЦОД могут вовсе избежать ограничений на выбросы, применяемые к крупным источникам загрязнения.

Бум строительства новых ЦОД часто сталкивается с дефицитом мощностей для подключения к электросетям. Вместо ожидания подключений годами, многие выбирают строительство собственных генерирующих мощностей на территории кампусов, в первую очередь с помощью газовых турбин. Такая политика может негативно сказаться на здоровье местных сообществ из-за выбросов оксидов азота и других загрязняющих веществ.

События разворачиваются на фоне растущего противодействия жителей строительству ЦОД. Согласно недавнему опросу Gallup, более 70 % американцев были бы против возведения дата-центра в своём районе. Впрочем, индустрия ЦОД пользуется активной поддержкой президента США. Говоря о решении губернатора Техаса поставить выдачу разрешений на подключение ЦОД «на паузу», тот заявил, что мешать строительству таких объектов было бы ошибкой. Власти США уже закрывают глаза на «зелёную повестку» в ряде случаях. Например, в споре жителей со SpaceX/xAI о загрязнении атмосферы в Мемфисе Минюст США попросил суд отклонить иск к xAI, поскольку это несёт «угрозу национальной безопасности».

Meta✴ сообщила новые подробности о 667-Вт ИИ-ускорителе MTIA 300 — своём первом чипе, оптимизированном для обучения DLRM-моделей. В отличие от LLM, требующих огромной пропускной способности вычислений с плавающей запятой, рекомендательные модели сталкиваются с проблемой необходимости быстрого и эффективного взаимодействия ускорителей в сочетании с большой ёмкостью памяти и высокой пропускной способностью интерконнекта.

Их таблицы эмбеддингов могут содержать более 99 % параметров модели, что требует гибридного параллелизма, генерирующего частые коллективные операции AllReduce, AllToAll и AllGather на сотнях ускорителей. На таких чипах, как GPU, эти коммуникационные операции конкурируют с вычислениями за одни и те же ресурсы, часто приводя к неэффективному использованию дорогостоящего оборудования.

Для решения этой проблемы разработчики, используя совместную разработку MTIA 300 с HCCL, библиотекой коммуникационных интерфейсов, созданной на основе разработанного с нуля оборудования, сделали коммуникацию первостепенной задачей в проектировании микросхем. На практике HCCL обеспечивает пропускную способность передачи данных до 940 Гбайт/с в пределах одной стойки. На модели со 150 млрд параметров, работающей на 40 ускорителях, общее время обмена данными при использовании MTIA 300 в 3,9 раза меньше, чем у эквивалентного кластера на базе GPU.

Источник изображения: Meta✴

В MTIA 300 сетевой интерфейс находится внутри самой упаковки микросхемы. Два 5-нм сетевых чиплета, каждый из которых содержит по шесть специализированных 800GbE RoCE-адаптеров, обеспечивают общую пропускную способность I/O 1,2 Тбайт/с без пересечения c шиной PCIe. Это устраняет узкое место в цепочке «хост-устройство-NIC», присутствующей в традиционных архитектурах GPU, где CPU должен выступать посредником между ускорителем и сетью, и позволяет избежать перегрузки PCIe между ускорителем и NIC. При этом NIC можно гибко использовать для масштабирования.

Поскольку используются одни и те же 12 NIC на базе Ethernet для вертикального масштабирования (внутри стойки из 16 узлов, до 1 Тбайт/с) и горизонтального масштабирования (между стойками, до 200 Гбайт/с), можно гибко распределять NIC в соответствии с меняющимися потребностями. По мере изменения требований модели можно переконфигурировать сеть, а не само оборудование. Для минимизации задержки транзакций разработчики внедрили экспресс-оповещения (doorbell). Сама запись запроса на выполнение служит оповещением, исключая дополнительное чтение из памяти и экономя около 800 нс на операцию.

Источник изображения: Meta✴

В случае GPU библиотеки вроде NCCL реализуют операции коллективных коммуникаций в виде вычислительных ядер (kernel), которые используют те же ресурсы, что нужны для вычислений при обучении. Пересечение коллективных операций и операций обучения приводит к замедлению обоих и того, и другого. В MTIA 300 использовали другой подход. Наряду с матрицей из 72 3-нм вычислительных элементов (PE), чип включает 16 выделенных механизмов обработки сообщений (ME), которые обрабатывают всю коммуникацию независимо.

ME содержит ядро RISC-V для оркестрации; сетевой интерфейс, который направляет запросы к нужному NIC; вычислительный блок Near-Memory Computing (NMC), который выполняет операции редукции со скоростью 128 байт/цикл. Расположенные по краям чипа, рядом с HBM и кешем, NMC в совокупности обеспечивают пропускную способность редукции более 2,8 Тбайт/с — более чем вдвое превышающую пропускную способность I/O. Это позволяет выполнять коллективные операции AllReduce и ReduceScatter на линейной скорости NIC без использования ресурсов PE.

Источник изображения: Meta✴

В результате обеспечивается практически идеальная изоляция операций. Одновременное выполнение больших GEMM-операций с коллективными операциями приводит к снижению вычислительной пропускной способности менее чем на 0,5 %, в отличие от традиционных GPU, где снижение может превышать 20 % из-за использования одних и тех же ресурсов на обмен данными и вычисления.

Разработанная совместно с MTIA 300 библиотека HCCL вместо управления обменом данными с хостом во время выполнения компилирует каждую коллективную операцию в полный набор подграфов (массивы очередей задач с явным указанием зависимостей), которые отправляются на ME для полностью автономного выполнения. Таким образом, хост лишь единожды отправляет ускорителю набор сетевых инструкций и более не вмешивается в работу сети.

Источник изображения: Meta✴

По словам Meta✴, такая архитектура естественным образом интегрируется с PyTorch. Коллективные операции компилируются в единый граф вместе с вычислительными задачами. HCCL сама выбирает алгоритмы, учитывающие топологию сети и асимметричность полос пропускания, по возможности минимизируя межстоечный трафик. Для инференса были разработаны дополнительные пути: односторонняя коммуникация, когда PE используют экспресс-оповещения, и параллельный запуск коллективных операций по сигналу от kernel'а без прерывания работы последнего.

Компания отметила, что MTIA 300 имеет и другие плюсы 216 Гбайт HBM3E (6,1 Тбайт/с) позволяют разместить больше данных на одном чипе, а не загружать их лишний раз извне; на каждый ускоритель приходится всего один CPU, что позволяет нагружать его интенсивными вычислениями на некоторых этапах; высокая пропускная способность сети позволяет при необходимости использовать форматы данных с более высокой точностью.

Хотя сочетание умеренной FP-производительности с ёмкой и быстрой HBM в MTIA 300 изначально было оптимизировано для обучения DLRM, эти качества позволяет эффективно использовать чипа для более широкого спектра нагрузок, включая инференс моделей генеративного ИИ. Стоит отметить, что подход Meta✴ с внедрением NIC непосредственно в чип не нов сам по себе. Например, чипы Intel/Habana Gaudi2, представленные в 2022 году, использовали 24 100GbE-интерфейса RoCE для вертикального и горизонтального масштабирования.