Облачная платформа AWS официально представила инстансы EC2 Trn2 и Trn2 UltraServer — самые высокопроизводительные решения EC2, ориентированные на ИИ-приложения, машинное обучение и задачи инференса. В основу положены фирменные ускорители Amazon Trainium2 второго поколения.

ИИ-ускорители Trainium2 содержат восемь ядер NeuronCore и 96 ГиБ памяти HBM с пропускной способностью 2,9 Тбайт/с. Ядра могут адресоваться и использоваться по отдельности или же пары физических ядер могут быть сгруппированы в один логический блок. Trainium2 обеспечивает FP8-быстродействие до 1,3 Пфлопс, а FP8-производительность в разреженных вычислениях достигает 5,2 Пфлопс.

Инстансы EC2 Trn2 содержат 16 ускорителей Trainum2, связанных посредством интерконнекта NeuronLink. В сумме это даёт 128 ядер NeuronCore и 1,5 ТиБ памяти HBM с суммарной пропускной способностью 46 Тбайт/с. Производительность на операциях FP8 достигает 20,8 Пфлопс. Каждый инстанс включает 192 vCPU, 2 ТиБ памяти и адаптеры AWS Elastic Fabric Adapter (EFA) v3 на 3,2 Тбит/с.

Источник изображений: AWS

Утверждается, что инстансы Trn2 обеспечивают в четыре раза более высокую производительность, в четыре раза большую пропускную способность памяти и в три раза большую ёмкость памяти, нежели инстансы Trn1. Кроме того, экземпляры Trn2 предлагают на 30–40 % лучшее соотношение цены и производительности, чем EC2 P5e и P5en на базе GPU. Инстансы Trn2 доступны в регионе AWS US East (Огайо), а в ближайшем будущем появятся и в других зонах.

В свою очередь, платформа UltraServer включает четыре инстанса Trn2 (64 ускорителя Trainum2) с интерконнектом NeuronLink с низкой задержкой. В сумме это даёт 512 ядер NeuronCore и 6 ТиБ памяти HBM с суммарной пропускной способностью 185 Тбайт/с. Быстродействие на операциях FP8 составляет 83 Пфлопс (332 Пфлопс в разреженных вычислениях). Новые узлы используют СЖО.

Десятки тысяч ускорителей Trainium2 могут формировать кластеры EC2 UltraCluster. В частности, такую систему в рамках инициативы Project Rainier компания Amazon намерена создать в партнёрстве со стартапом Anthropic, который специализируются на технологиях генеративного ИИ. Интересно, что ИИ-суперкомпьютер Project Rainier будет распределённым — его узлы разместятся сразу в нескольких ЦОД. ВОЛС между дата-центрами организует Lumen. Одной из причин от попытки построить один гигантский кампус называется невозможность быстро получить достаточно энергии в одном месте, хотя у компании уже есть площадка рядом с АЭС.

Недавно Amazon объявила о намерении удвоить инвестиции в Anthropic, доведя их до $8 млрд. Создание системы Rainier планируется завершить в следующем году. Ожидается, что она станет одним из крупнейших в мире вычислительных кластеров для обучения моделей ИИ. По заявлениям AWS, комплекс обеспечит в пять раз более высокую производительность по сравнению с платформой, которую Anthropic использовала до сих пор для разработки своих языковых моделей. Достанутся ли Anthropic и ресурсы ещё облачного ИИ-суперкомпьютера Project Ceiba, который получит 21 тыс. суперчипов NVIDIA Blackwell, не уточняется.

Кроме того, по сообщению The Register, компания Amazon приоткрыла завесу тайны над ИИ-ускорителями следующего поколения — изделиями Trainium3. По сравнению с предшественниками они, как утверждается, обеспечат четырёхкратное увеличение быстродействия. Говорится, что Trainium3 станет первым специализированным ускорителем для ИИ и машинного обучения, созданным на основе 3-нм техпроцесса. Эффективность по сравнению с Trainium2 увеличится примерно на 40 %. Ожидается, что на коммерческом рынке изделия Trainium3 появятся в конце 2025 года.

Компания Marvell Technology, занимающаяся полупроводниковыми инфраструктурными решениями, объявила о расширении стратегического партнёрства с Amazon Web Services (AWS). Стороны заключили соглашение сроком на пять лет, включающее сотрудничество в работе над несколькими продуктами AWS, а также использование облачной инфраструктуры техногиганта, сообщает пресс-служба Marvell.

Соглашение касается широкого спектра решений Marvell, предназначенных для дата-центров. В том числе речь идёт о поставке кастомизированных ИИ-чипов для AWS, оптических и электрических DSP, PCIe-ретаймеров, оптических сетевых решениях, чипсетов для коммутаторов и др. Компетенции Marvell позволят AWS усовершенствовать собственные продукты, сетевое оборудование и СХД, добившись большей эффективности и снижения стоимости эксплуатации.

Источник изображения: LinkedIn Sales Solutions/unsplash.com

Для автоматизации проектирования электроники (EDA) в Marvell приняли подход cloud first, разработка ведётся с использованием облака AWS, где компании доступны практически неограниченные вычислительные ресурсы. В Marvell уже заявили, что решения AWS EDA помогут компании быстро, гибко и безопасно масштабировать проектирование полупроводников с лучшим в своём классе временем выхода на рынок. Сотрудничество играет на руку и AWS — продукты Marvell активно используются в инфраструктуре Amazon.

Развитие энергоёмких ИИ-систем кардинально меняет структуру ЦОД в Европе. Если когда-то Ирландия была «сердцем» IT-индустрии континента, то теперь страна может потерять свои преимущества. Дело в том, что энергетическая инфраструктура страны и ЦОД гиперскейл-уровня с трудом поспевают за ростом спроса на ИИ-технологии — это ставит под угрозу её положение «общеевропейского ЦОД», сообщает eWeek.

Ирландия давно стала ключевым игроком на рынке дата-центров, а Дублин — локацией с высокой концентрацией ЦОД гиперскейлеров. По информации Synergy Research Group, в этом отношении ирландская столица занимает третье место после Северной Вирджинии и Лондона.

Amazon, Microsoft и Google используют масштабные сети ЦОД для своих облачных сервисов. Но из-за роста спроса на электричество в связи с развитием ИИ энергосистема страны работает на пределе возможностей. Не так давно сообщалось, что ирландские ЦОД увеличили энергопотребление на 473 % за восемь лет.

Эксперты предполагают, что потребности ИИ в электричестве вырастут вдвое уже к 2026 году, что окажет огромное давление на энергосистему Ирландии. Недостаток модернизированных сетей в стране побудил местного сетевого оператора EirGrid ввести мораторий на новые заявки для подключения ЦОД с ноября 2021 года.

Источник изображения: Datacenters.com

Уже сейчас на дата-центры приходится 21 % энергопотребления в Ирландии, впервые по этому показателю они обошли городские домохозяйства. Местные регуляторы предупреждают о дефиците энергии и увеличении потребительских расходов на неё из-за высокой скорости роста спроса — он растёт быстрее, чем развивается инфраструктура.

Пока в Ирландии ищут выход из сложившегося положения, другие страны Евросоюза способны использовать в своих интересах рост спроса на ЦОД. У Франции в резерве значительные мощности ядерной энергетики, а на севере Европе подходящий для ЦОД климат и немало источников возобновляемой энергии. По данным McKinsey, регионы с доступной низкоуглеродной энергетикой будут играть в индустрии ЦОД ключевую роль в ближайшие годы. Техногиганты стремятся минимизировать затраты и добиться нулевых показателей выбросов, многие из них уже нацелились на Северную Европу и Францию.

Следующие несколько лет станут решающими для Ирландии — станет понятно, способна ли страна модернизировать энергетическую инфраструктуру, чтобы сохранить доминирование в облачном бизнесе — или она уступит позиции другим европейским игрокам. IT-гиганты AWS, Google и Microsoft даже готовы прокладывать собственные линии электропередач в стране из-за нехватки государственных. Кроме того, Equinix и Microsoft тестируют в Ирландии генерацию экобезопасной энергии на местах, а Microsoft и вовсе разрешили построить собственную газовую электростанцию.

Уходящая администрация действующего президента США Джо Байдена (Joe Biden) объявила об ограничениях экспорта в Китай высокопроизводительной HBM-памяти, критически важной для производства ИИ-ускорителей. Запрет коснётся более сотни китайских организаций, сообщает The Register.

Ограничения, обновлённые и анонсированные Бюро промышленности и безопасности (BIS) в минувший понедельник, препятствуют экспорту HBM в ряд стран, в частности — в КНР. Модули такой памяти производятся всего несколькими поставщиками в мире, включая южнокорейские Samsung и SK Hynix, а также американскую Micron. В модулях HBM применяются передовые технологии упаковки, недоступные КНР. В Китае активно ведутся работы по импортозамещению технологий. В частности, над собственными HBM-модулями трудится ChangXin Memory Technologies (CXMT).

Источник изображения: Debbie Molle/unsplash.com

HBM чрезвычайно важна для обучения ИИ и инференса и гораздо эффективнее (G)DDR, хотя она дороже и потребляет больше энергии. В последних поколениях оборудования память порой даже важнее FP-производительности. Например, в версиях NVIDIA H200 и AMD MI325X HBM3 заменена на более быструю HBM3e. Особенно результаты заметны при эксплуатации больших языковых моделей (LLM). Однако для моделей поменьше достаточно более простых и доступных ускорителей NVIDIA и AMD с памятью GDDR.

По новым правилам производители памяти должны будут получать специальные экспортные лицензии для продажи HBM китайскому бизнесу. Как показал опыт Cerebras и Groq, при выполнении некоторых технических условий можно обойтись и SRAM. Оба разработчика добились отличных показателей при инференсе, даже в сравнении с решениями с HBM. Пока неизвестно, сможет ли SMIC предложить собственное решение аналогичного класса. В любом случае, запрет на экспорт в Китай HBM не означает завершение масштабных китайских ИИ-проектов.

При Байдене США уже ввели множество ограничений на экспорт, чтобы лишить Китай доступа к технологиям, связанным с передовыми полупроводниками и ИИ-ускорителями, в том числе на поставки высокопроизводительных чипов и литографических EUV-машин для их выпуска. Тем не менее, успехи КНР в сфере ИИ ставят под сомнение эффективность санкций.

Российская компания Delta Computers анонсировала систему Delta Spider. Это, как утверждается, первый в РФ модульный восьмипроцессорный сервер на аппаратной платформе Intel Xeon Sapphire Rapids.

В составе Delta Spider применяются чипы с 60 ядрами, значение TDP которых может достигать 385 Вт. Возможны конфигурации с двумя, четырьмя и восемью процессорами, что в сумме даёт до 480 ядер. Процессоры объединены шиной UPI. Поддерживается память DDR5-4400/4800, объём которой в максимальной конфигурации составляет 32 Тбайт (128 × 256 Гбайт).

Доступны базовые варианты Spider L и Spider XL в формате 7OU и 13OU соответственно. Допускается установка соответственно 16 и 32 SSD типоразмера SFF (U.2; NVMe) толщиной 7 мм или 8 и 16 SSD толщиной 15 мм. В модуле управления предусмотрены ещё два посадочных места для SSD (U.2; NVMe) толщиной 7 мм. Версия Spider L располагает 12 слотами для карт PCIe 5.0 х16 HHHL, модификация Spider XL — 24 слотами.

Источник изображений: Delta Computers

Серверы оборудованы гибридной системой охлаждения (вода+воздух) Delta Hybrid Cooling с возможность горячей замены вентиляторов, которая позволяет процессорам постоянно работать в Boost-режиме. Питание осуществляется от централизованного шинопровода OCP (12 В). Модуль управления наделён двумя портами USB 3.0, разъёмом 1GbE RJ-45, интерфейсами D-Sub и Mini-DP, а также сервисным портом USB Type-C. Применяется разработанное в России микропрограммное обеспечение Delta BIOS и Delta BMC.

По заявлениям Delta Computers, платформа Delta Spider подходит для высоконагруженных приложений, таких как системы управления предприятием (ERP и CRM), автоматизированные банковские системы (ABS), аналитические сервисы принятия решений реального времени, биллинговые и платежные системы, а также иных in-memory приложений.

В Калуге бывший завод Samsung перепрофилировали. По данным «Ведомостей», теперь объект арендован российским дистрибутором VVP Group и на нём уже стартовал сбор серверов под брендом «Гравитон». Впрочем, официальных сведений о выпуске серверов «Гравитон» на данном заводе пока нет — представители бренда не комментируют новость, а VVP Group не отвечает на запрос журналистов.

В своё время на калужском заводе Samsung выпускала все телевизоры и мониторы для российского рынка. Оттуда же шли поставки в Казахстан, Молдавию, Монголию, Азербайджан, Армению, Белоруссию и Грузию. После заморозки компанией поставок комплектующих в Россию в 2022 году были приостановлены и поставки компонентов на собственный завод.

В 2024 году подразделение ООО «Самсунг электроникс рус Калуга», владеющее объектом, передало его в аренду VVP Group, последняя сначала наладила сдачу помещений в субаренду, а потом запустила первое контрактное производство телевизоров для «М.Видео-Эльдорадо». По оценкам экспертов речь может идти о выпуске до полумиллиона единиц продукции в год, благодаря чему завод вернётся к полной загрузке мощностей.

Источник изображения: Homa Appliances/unsplash.com

По данным самой «Гравитон», под соответствующим брендом сейчас выпускается по 20 тыс. серверов на собственных объектах, дополнительно «Гравитон» с лета 2024 года заказывает выпуск на сторонней площадке OpenYard, расположенной в Рязанской области. Всего запланировано выпускать более 50 тыс. плат для клиентских устройств и серверного оборудования.

В сентябре «Гравитон» стал заказывать выпуск мониторов и печатных плат под своим брендом (тоже для мониторов). Пробная партия составила 1 тыс. мониторов, а до конца I квартала следующего года предполагается выпустить 60 тыс. изделий. Бренд «Гравитон» принадлежит ООО «Революционные технологии», по 50 % которого находятся в собственности у Александра Башлыкова и вендора 3Logic Group (ООО «Новый ай ти проект»).

В 2022 году зарубежные производители серверов начали покидать Россию и многие продукты доступны лишь через параллельный импорт, из-за чего возник дефицит. По мнению экспертов для компенсации дефицита нужны объёмные поставки компонентов от процессоров до материнских плат и систем охлаждения, а также глубокая интеграция оборудования с ПО. В 2023 году российский рынок серверов составил около 150 млрд руб., но в текущем году он, вероятно, вырастет ещё на 10 %.

Российский производитель IT-оборудования Delta Computers анонсировал Ethernet-коммутатор Delta Dragonfly типа Bare Metal, предназначенный для развёртывания высокоскоростных инфраструктур уровня ядра сети, а также уровней агрегации и доступа в средних и крупных компаниях.

Решение выполнено в форм-факторе 1U с габаритами 630 × 439 × 43 мм. Задействованы ASIC Broadcom Tomahawk 3 (коммутационная ёмкость — 12,8 Тбит/с), а также процессор Intel Xeon Emerald Rapids. Предусмотрены четыре слота для модулей оперативной памяти DDR5-5600.

Для Delta Dragonfly доступны модификации DN5032, DN4032, DN3032, DN4424, а также DN3424 с поддержкой соответственно 32 портов QSFP-DD 400 Гбит/с, 32 портов QSFP-56 200 Гбит/с, 32 портов QSFP-28 100 Гбит/с, 24 портов QSFP-56 200 Гбит/с и четырёх портов QSFP-DD 400 Гбит/с, а также 24 портов QSFP-28 100 Гбит/с и четырёх портов QSFP-DD 400 Гбит/с. Все варианты располагают двумя разъёмами SFP+ 10 Гбит/с.

Источник изображений: Delta Computers

Коммутаторы могут получать питание от двух блоков CRPS, общей DC-шины OCP (12 В) или от сети 48–60 В телеком-стандарта (Telco Rack). В системе охлаждения задействованы пять вентиляторов. Применяется созданные в России прошивки Delta BIOS и Delta BMC. Утверждается, что Delta Dragonfly является оптимальным выбором для ЦОД, корпоративных сред и HPC-платформ.

Кроме того, компания Delta Computers представила высокоскоростной PCIe-коммутатор Delta Firebird, обеспечивающий возможность объединения до шести устройств по интерфейсу PCIe 5.0 x16 в кластер. Горизонтальная масштабируемость на базе PCIe 5.0 позволяет создавать разнообразные конфигурации кластеров высоконагруженных систем. Изделие выполнено в формате 1U с размерами 481 × 629 × 43 мм. Возможно питание от двух блоков CRPS или от централизованного шинопровода OCP на 12 В. Применено встроенное ПО Delta BMC.

Оба коммутатора могут быть использованы в стандартных 19″ серверных стойках и в OCP-шасси формата 21″.

Nebius, бывшая материнская компания «Яндекса», объявила о проведении частного размещения акций, в рамках которого она привлекла $700 млн, пишет Bloomberg. По словам гендиректора Nebius Аркадия Воложа, в финансировании приняли участие десятки известных инвесторов, включая существующего партнёра, производителя чипов NVIDIA, венчурную фирму из Кремниевой долины Accel и компанию по управлению инвестициями Orbis Investment.

В рамках частного размещения Nebius выпустит 33,3 млн акций по цене $21 за единицу, что включает премию в 3 % к средней цене акции с момента возобновления торгов 21 октября на Nasdaq. Nebius также заявила, что не будет проводить обратный выкуп акций, который был одобрен после закрытия сделки по разделению активов с «Яндексом» до возобновления торгов на Nasdaq. По словам Воложа, финансирование в размере $700 млн даст Nebius дополнительные возможности для более быстрого и масштабного создания кластеров ускорителей, облачных платформ и других инструментов для разработчиков ИИ.

Источник изображений: Nebius

Nebius планирует инвестировать в расширение инфраструктуры ИИ в Европе $1 млрд к середине 2025 года, но Волож заявил, что в конечном итоге сумма инвестиций может быть и больше. Nebius арендует ЦОД в Канзас-Сити (штат Миссури), и может расширить деятельность в США, где базируется более половины клиентов компании. Ранее компания запустила первый ИИ-кластер во Франции на базе NVIDIA H200, а также объявила о планах втрое увеличить ёмкость дата-центра в Финляндии.

Волож выразил надежду, что Nebius получит ранний доступ к столь ожидаемым чипам Blackwell от NVIDIA, но инвестиции не гарантируют этого. «Сделка не касается GPU, — сообщил он. — Но она, конечно, демонстрирует наши тесные отношения, которые, как мы надеемся, повлияют на нашу деятельность». Волож также ожидает, что ещё больше инвестиций удастся привлечь в 2025 году. В рамках сделки партнёр Accel Мэтт Вейганд (Matt Weigand) войдёт в совет директоров Nebius. Изначально он будет иметь статус наблюдателя, пока не будет официально избран на ежегодном собрании акционеров компании в 2025 году.

На фоне этих новостей акции Nebius подскочили в понедельник на предварительных торгах примерно на 16 % до $25,50 с $21,99 в пятницу. В связи с укреплением финансового положения Nebius улучшила свой финансовый прогноз, ожидая достичь к концу 2025 года годовой ставки доходности (annualized run rate, ARR) от $750 млн до $1 млрд. Предыдущий прогноз составлял от $500 млн до $1 млрд.

В этом году в России значительно увеличились инвестиции разработчиков вычислительной техники в развитие ИИ-оборудования, пишет «Коммерсантъ» со ссылкой на данные участников рынка. По оценкам экспертов, на разработку сервера с ИИ с постановкой на производство уходит в среднем 100 млн руб.

В консорциуме АНО «Вычислительная техника» (АНО ВТ, объединяет 33 разработчика вычислительной техники, в том числе «Аквариус», Yadro, ГК «Элемент» и др.) сообщили о росте объёма инвестиций в оборудование для ИИ на 40 %. По данным консорциума, доля вложений в это направление в финансировании разработок составила в этом году 14,2 %, а выпуск ИИ-оборудования увеличился на 10,5 %. Как ожидают в АНО ВТ, в течение трех лёт на оборудование для ИИ будет приходиться в среднем 23,7 % выручки разработчиков электроники.

О 40-процентном росте инвестиций в разработку серверов для ИИ сообщили и в Fplus. На данный момент компания разработала четыре модели ИИ-серверов, которые будут внесены в реестр Минпромторга. В Kraftway тоже отметили увеличение инвестиций в оборудование для ИИ в 2024 году. Компания планирует в 2025 году больше инвестировать в разработку и производство СХД для нейросетей, поскольку с развитием ИИ уже со следующего года к этому оборудованию, как ожидается, возникнет серьёзный интерес.

Источник изображения: Fplus

В компании «Гравитон» сообщили о разработке нескольких платформ для ИИ, которые появятся на рынке в 2025 году. По данным компании, за девять месяцев 2024 года спрос госкомпаний на ИИ-серверы вырос вдвое. В НТЦ «Модуль» отметили значительный рост интереса к своей продукции, в том числе, к ИИ-серверам, и рассказали о планах увеличить в следующем году выпуск собственных нейроускорителей в различном исполнении.

Юлихский исследовательский центр (FZJ) в Германии объявил о достижении важного рубежа в рамках проекта JUPITER (Joint Undertaking Pioneer for Innovative and Transformative Exascale Research) по созданию европейского экзафлопсного суперкомпьютера. Введён в эксплуатацию JETI — второй модуль этого НРС-комплекса.

Напомним, контракт на создание JUPITER заключён между Европейским совместным предприятием по развитию высокопроизводительных вычислений (EuroHPC JU) и консорциумом, в который входят Eviden (подразделение Atos) и ParTec. Суперкомпьютер JUPITER создаётся на базе модульного дата-центра, за строительство которого отвечает Eviden.

Система JUPITER получит, в частности, энергоэффективные высокопроизводительные Arm-процессоры SiPearl Rhea1 с HBM. Кроме того, в состав машины входят узлы с NVIDIA Quad GH200, а общее количество суперчипов GH200 Grace Hopper составит почти 24 тыс. Узлы объединены интерконнектом NVIDIA Mellanox InfiniBand.

Запущенный модуль JETI (JUPITER Exascale Transition Instrument) обладает FP64-производительностью 83,14 Пфлопс, тогда как пиковый теоретический показатель достигает 95 Пфлопс. С такими результатами эта машина попала на 18-ю строку нынешнего рейтинга мощнейших суперкомпьютеров мира TOP500. В составе JETI задействованы в общей сложности 391 680 ядер. Энергопотребление модуля равно 1,31 МВт. Отмечается, что JETI обеспечивает примерно одну двенадцатую от общей расчётной производительности машины JUPITER. Попутно JETI занял шестое место в рейтинге энергоэффективных систем Green500.

Источник изображения: Eviden

Ожидается, что после завершения строительства суммарное быстродействие JUPITER на операциях обучения ИИ составит до 93 Эфлопс, а FP64-производительность превысит 1 Эфлопс. Затраты на создание комплекса оцениваются в €273 млн, включая доставку, установку и обслуживание НРС-системы.