Компания Gigabyte, по сообщению ресурса Tom's Hardware со ссылкой на ServeTheHome, готовит к выпуску двухпроцессорный сервер R283-ZK0 типоразмера 2U на аппаратной платформе AMD EPYC Genoa. Особенность данной модели заключается в наличии 48 слотов (24 на процессор) для модулей оперативной памяти DDR5, размещённых в уникальной конфигурации.

Сервер допускает установку двух чипов в исполнении SP5: в частности, говорится о возможности использования изделий со 128 ядрами (256 потоков) с показателем TDP до 300 Вт. Из-за ограниченного пространства внутри корпуса сформировать систему с 12 каналами DDR5 на процессорный сокет, располагая слоты ОЗУ рядом друг с другом, оказалось невозможно.

Gigabyte R283-ZK0

Поэтому соответствующие разъёмы на материнской плате Gigabyte MZK3-LM0 выполнены лесенкой: с одной стороны каждого процессора они имеют трёхступенчатую конфигурацию 6-2-4, с другой — четырёхступенчатую вида 4-2-2-4. Таким образом, удалось расположить 48 слотов DDR5 в стандартном форм-факторе 2U.

Сервер R283-ZK0 оснащён восемью фронтальными отсеками для SFF-накопителей NVMe, четырьмя посадочными местами для SFF-устройств в тыльной части и двумя внутренними коннекторами М.2. Есть четыре слота FHHL для карт расширения с интерфейсом PCIe 5.0 x16, два слота OCP 3.0 и два порта 1GbE. За питание отвечают два блока мощностью 2700 Вт с сертификатом 80 Plus Titanium.

Gigabyte R283-ZK0

Прочие характеристики сервера и сроки его поступления в продажу пока не раскрываются. Нужно отметить, что Gigabyte также готовит схожую модель R183-ZK0 в форм-факторе 1U, которая отличается от 2U-версии наличием всего четырёх слотов SFF NVMe, одного слота FHHL и БП мощностью 2000 Вт.

Поставщик сетевых решений Cornelis Networks объявил о назначении с 15 августа гендиректором Лизы Спелман (Lisa Spelman, на фото ниже). Она сменит на этом посту Филипа Мерфи (Philip Murphy), который займёт должность президента и главного операционного директора. Спелман переходит в Cornelis Networks из Intel, где она занимала руководящие должности на протяжении более двух десятилетий.

До недавнего времени Спелман была корпоративным вице-президентом группы DCAI (ЦОД и ИИ) и генеральным менеджером подразделения Xeon Products and Solutions. Она также занимала ряд руководящих должностей в других подразделениях Intel. Как сообщил Мерфи, Спелман обладает беспрецедентной широтой и глубиной знаний во всех аспектах построения и масштабирования успешного бизнеса. По его словам, клиенты компании уже знают Спелман и верят в её способность помочь им создать необходимую инфраструктуру следующего поколения.

Источник изображения: Cornelis Networks

Интерконнект Omni-Path, от которого в своё время отказалась Intel и который в итоге достался Cornelis Networks, используется научными, академическими, государственными и коммерческими организациями по всему миру. Впрочем, в последнем рейтинге TOP500 доля систем с этим интерконнектом составляет всего 6,4 %, а на решения именно Cornelis приходится и вовсе менее 1 %. Сейчас компания готовится к старту поставок решений следующего поколения CN5000, разработанных специально для сред ИИ и HPC и позволяющих удовлетворить растущие требования к масштабируемости сетевой инфраструктуры.

Спелман отметила, что одной из самых серьёзных проблем, с которой компании сталкиваются при развитии ИИ-инфраструктуры — это наличие высокоэффективного интерконнекта, объединяющего CPU, GPU и ускорители: «Способность объединить эти ресурсы высокоэффективным способом влияет на конкурентоспособность организации в мире ИИ».

Согласно прогнозу аналитической компании TrendForce, высокий спрос на ИИ-серверы со стороны крупных провайдеров облачных услуг и других клиентов сохранится до конца 2024 года. Постепенное расширение производства компаниями TSMC, SK hynix, Samsung и Micron позволило значительно уменьшить дефицит во II квартале и, как следствие, время выполнения заказа на NVIDIA H100 сократилось с прежних 40–50 недель до менее чем 16.

По оценкам TrendForce, поставки ИИ-серверов во II квартале выросли почти на 20 % по сравнению с предыдущим кварталом. Аналитики в своём свежем отчёте пересмотрели прогноз поставок на весь год до 1,67 млн ИИ-серверов (рост на 41,5 % в годовом исчислении). Объём рынка ИИ-серверов в 2024 году в денежном выражении, как ожидают в TrendForce, превысит $187 млрд при темпах роста 69 %, что составит 65 % от рыночной стоимости всех поставленных серверов.

В отчёте также отмечено, что в этом году крупные провайдеры облачных услуг продолжают концентрироваться на закупке ИИ-серверов, что негативно отражается на темпах роста поставок серверов общего назначения. У последних ежегодные темпы роста поставок составят всего 1,9 %. Как ожидают в TrendForce, доля ИИ-серверов в штучном выражении в общем объёме поставок достигнет 12,2 %, что больше на 3,4 п.п. по сравнению с 2023 годом.

Аналитики отметили, что североамериканские гиперскейлеры постоянно расширяют выпуск собственных ASIC, впрочем, как и китайские компании, такие как Alibaba, Baidu и Huawei. Ожидается, что благодаря этому доля ASIC-серверов на рынке ИИ-серверов вырастет до 26 % в 2024 году, в то время как у ИИ-серверов с ускорителями доля будет около 71 %. При этом NVIDIA сохранит абсолютное лидерство с около 90 % рынка ИИ-серверов с ускорителями, в то время как доля AMD составит лишь около 8 %.

Если же учитывать вообще все чипы, используемые в ИИ-серверах (GPU, ASIC, FPGA), то доля рынка NVIDIA в этом году составит около 64 %, ожидают в TrendForce. По оценкам аналитической фирмы Tech Insights, NVIDIA в 2023 году отгрузила приблизительно 3,76 млн серверных ускорителей на базе GPU, захватив 98 % рынка GPU для ЦОД.

TrendForce считает, что спрос на передовые ИИ-серверы сохранится и в 2025 году, учитывая тот факт, что NVIDIA Blackwell (включая GB200, B100/B200) заменит Hopper. Это также будет стимулировать спрос на CoWoS (2.5D-упаковка от TSMC) и память HBM. Производственная мощность TSMC в области CoWoS, по оценкам TrendForce, достигнет 550–600 тыс. единиц к концу 2025 года, при этом темпы роста достигнут 80 %.

Источник изображения: TrendForce

Тем не менее, ускоритель H100 получит в 2024 году наибольшее распространение. К 2025 году такие ускорители, как Blackwell Ultra от NVIDIA или MI350 от AMD, будут оснащены HBM3e ёмкостью до 288 Гбайт, что утроит количество компонентов памяти. Ожидается, что общее предложение HBM удвоится к 2025 году на фоне высокого спроса на ИИ-серверы.

При этом не все уверены в светлом будущем ИИ. Так, венчурный фонд Sequoia Capital и аналитики Goldman Sachs указывают на сверхвысокие расходы на ИИ-оборудование и вместе с тем отсутсвие реальной финансовой отдачи от вложений в ИИ-решения. С другой стороны, венчурный фонд Andreessen Horowitz (a16z) уверен, что ИИ не станет очередным финансовым пузырём и сам закупает ИИ-ускорители, чтобы привлечь стартапы. А некоторые ИИ-стартапы сами приходят к крупным игрокам, поскольку не способны окупить затраты на оборудование.

NVIDIA приобрела стартап, помогающий ИИ-разработчикам найти среди предложений облачных провайдеров наиболее подходящий по соотношению цена/качество доступ к ускорителям. Как сообщает портал CRN, это уже четвёртая заметная покупка NVIDIA с начала года. Представитель NVIDIA подтвердил, что сделка по приобретению Brev.dev действительно состоялась, но сумму и условия сделки не сообщил.

Brev.dev предоставляет платформу для создания, обучения и внедрения ИИ-моделей в облаках. Целью Brev.dev, по словам самого стартапа, является поиск простейшего способа использования ускорителей для разработчиков систем ИИ и машинного обучения. Сотрудничество с NVIDIA обеспечит выполнение этой миссии, с комбинацией максимально возможно производительной аппаратной составляющей с самым передовым программным обеспечением.

На сайте Brev.dev официальными партнёрами стартапа названы NVIDIA, Intel и AWS. Там же говорится, что платформа служит единым интерфейсом для взаимодействия AWS, Google Cloud Platform, Fluidstack и прочими облаками с ИИ-ускорителями. Это позволяет разработчикам искать подходящие инстансы на основе их цены и доступности. Хотя NVIDIA поставляет GPU и ИИ-ускорители облачным провайдерам более десяти лет, в последние годы компания уделяет немало внимания расширению собственного бизнеса в сфере облачных инфраструктур.

Источник изображения: NVIDIA

В прошлом году компания запустила сервис DGX Cloud, который развёрнут в облачной инфраструктуре других провайдеров и на собственных мощностях и ИИ-суперкомпьютерах. Ранее в этом году NVIDIA купила ещё два стартапа для развития возможностей DGX Cloud. В конце апреля компания анонсировала покупку израильского стартапа Run:ai, занимающегося решениями для оркестрации ИИ-инфраструктур. Его планируется интегрировать в DGX Cloud, а также с DGX- и HGX-серверами. По имеющимся данным, покупка Run:ai обошлась в $700 млн.

Практически одновременно с Run:ai компания приобрела ещё один израильский стартап — Deci, предлагающий ПО, способное на любом железе ускорить инференс ИИ-моделей, сохраняя точность данных. Сделку, по слухам, оценили приблизительно в $300 млн. Наконец, месяц назад NVIDIA купила калифорнийский стартап Shoreline.io, основанный бывшим управленцем AWS — компания разрабатывает ПО для автоматического устранения проблем в инфраструктуре ЦОД. По некоторым данным, команда Shoreline присоединилась к DGX Cloud, а покупка обошлась в $100 млн.

Облачный провайдер CoreWeave намерен внедрять топливные ячейки Bloom Energy в одном из своих дата-центров. Datacenter Dynamics сообщает, что речь идёт о твёрдооксидных топливных элементах (SOFC), которые будут генерировать энергию непосредственно на территории ЦОД Chirisa Technology Parks (CTP) в Иллинойсе.

Топливные элементы должны ввести в эксплуатацию в III квартале 2025 года, но масштаб внедрения технологии пока не разглашается. По словам представителя Bloom Energy, выбор решений компании одним из лидеров ИИ-рынка свидетельствует о зрелости топливных элементов и их важности для ИИ. В самой CoreWeave добавляют, что гордятся новым сотрудничеством, которое поспособствует достижению целей экоустойчивости.

SOFC работают при высоких температурах, из-за чего требуют больше времени на запуск в сравнении с низкотемпературными PEMFC-элементами. Однако запуск SOFC всё равно быстрее, чем газовых турбин или дизельных генераторов, говорит разработчик, а при частичных нагрузках ещё и эффективнее турбин.

Топливные ячейки Bloom могут применяться как параллельно с магистральной энергосетью, дополняя её, так и самостоятельно питать дата-центр, когда это необходимо. В числе клиентов Blool уже есть Intel, Equinix, JPMorgan Chase, Nxtra и AWS. К началу 2024 года компания поставила элементов на 5 ГВт по всему миру. Одним из крупных проектов должно стать оснащение ирландского ЦОД.

Кампус CTP, расположенный на участке площадью 20 га, включает объект YLO-01 (14 МВт, 14,8 тыс. м²), который будет дополнен точно таким же объектом YLO-02. Ещё 13,9 тыс. м², судя по данным на сайте компании, будет построено в будущем.

Источник изображения: Bloom Energy

CoreWeave в настоящее время управляет несколькими регионами: US East (LGA1) в Нью-Джерси, US West (LAS1) в Неваде и US Central (ORD1) в Иллинойсе. Также сообщается о регионах в Рино (RNO2) и US East-02. Ожидается, что концу 2024 года она будет распоряжаться 28 ЦОД, для сравнения — в конце 2023 года речь шла о 14 объектах. Соглашения об аренде заключены с Lincoln Rackhouse, Chirisa, Flexential, TierPoint, Digital Realty, и Core Scientific в США. Также компания расширяет бизнес в материковой Европе, а также Великобритании. Пока имеется подтверждённая информация о сотрудничестве с провайдером EdgeConneX в Испании.

Компания Google обещала облачным бизнесам из Евросоюза компенсацию в объёме €470 млн ($512 млн) в попытке убедить их не отказываться от претензий к Microsoft. В своё время ассоциация CISPE пожаловалась на гиганта из Редмонда регуляторам ЕС, но позже стороны достигли соглашения, а жалоба была отозвана. Сама Google тоже жаловалась на поведение Microsoft регулятором ЕС.

От своих претензий Cloud Infrastructure Services Providers in Europe (CISPE) отказалась на прошлой неделе — компании жаловались на проблемы с лицензированием ПО Microsoft при использовании в облаках вне Azure. Ранее в CISPE сетовали, что Microsoft чрезвычайно затруднила клиентам смену облачных провайдеров, фактически привязав своё ПО к сервисам Azure.

Microsoft и CISPE урегулировали дело, но буквально за несколько дней до этого Google выдвинула встречное предложение — не отказываться от жалобы за крупную компенсацию. При этом Google предлагала в основном не деньги, а лицензии на облачное ПО на сумму €455 млн сроком на 5 лет и только €14 млн в виде реальной финансовой помощи. В своё время жалобу на Microsoft поддержала и AWS, но ничего не смогла сделать несмотря на то, что сама является членом CISPE.

Источник изображения: Blogging Guide/unsplash.com

Ассоциация, куда входит множество малых провайдеров, решила пойти навстречу Microsoft, пообещавшей финансовую компенсацию в эквиваленте $22 млн и расширение возможностей по использованию приложений Microsoft в сторонних облаках. Компаниям будет обеспечен доступ к платформе Azure Stack HCI, что позволит запускать ПО Microsoft, по тем же ценам, что предлагает сам IT-гигант в Azure.

Хотя Google долгое время отставала от Microsoft и AWS на облачных рынках, компания добилась значительных успехов в этой сфере. В I квартале облачный бизнес принёс компании $900 млн прибыли, при этом эксперты прогнозировали её на уровне $672,4 млн. Облачное подразделение Google рассматривается компанией как один из перспективных векторов для роста. Показатели можно было бы дополнительно улучшить, стимулировав интерес регуляторов к деятельности Microsoft — расследование в ЕС могло привести к оборотному штрафу в 10 % от глобальной выручки конкурента.

У Microsoft большой опыт урегулирования подобных споров. Например, в 2004 году она выплатила более $9,75 млн поддерживаемой Google группе Computer and Communications Industry Association для того, чтобы та отказалась от претензий к Редмонду в ЕС. Хотя одной проблемой для Microsoft пока стало меньше, она ещё находится в поле зрения европейских властей в связи с вложением $13 млрд в OpenAI — под вопросом законность привилегированного использования последней облачных технологий Редмонда.

Кроме того, Microsoft грозит в Евросоюзе крупный штраф за злоупотребление доминирующим рыночным положением — из-за привязки приложения Teams к другому ПО. Наконец, всё ещё ведутся антимонопольные расследования в Великобритании и США. В Соединённом Королевстве регулятор CMA изучает облачный рынок с 2023 года, а в США Microsoft и вовсе является фигурантом двух расследований. Первое начато в январе 2024 года и связано с изучением деятельности провайдеров ИИ-сервисов, второе посвящено Microsoft, OpenAI и NVIDIA — исследуется влияние трёх ключевых игроков на ИИ-индустрию.

Нидерландская Yandex N. V. (бренд Nebius), бывшая материнская компания «Яндекса», планирует расширить дата-центр в Мянтсяля (Финляндия) в два раза, пишет ТАСС со ссылкой на финское агентство STT.

«Мы можем сообщить вам, что изначально этот участок планировался как четырёхсекционный, два из которых уже построены. Сейчас мы завершаем работу над планами и увеличим его до четырёх секций, чтобы разместить больше GPU для нашего облака на основе искусственного интеллекта», — сообщили агентству STT в Nebius, не назвав сумму инвестиций в расширение объекта.

Источник изображения: «Яндекс»

Построенный в 2014 году дата-центр в Мянтсяля в регионе Уусимаа был одним из пяти ЦОД «Яндекса». Выделяемое его оборудованием тепло используется для обогрева домов. Здесь применяется технология естественного охлаждения, когда серверы остужают воздухом с улицы. Как сообщает ТАСС, дата-центр является крупнейшим налогоплательщиком муниципалитета Мянтсяля.

В декабре 2019 года стало известно о договоре «Яндекса» со строительной компанией Lehto Tilat Oy на строительство дополнительного корпуса дата-центра площадью 10 тыс. м². В июле 2024 года российский «Яндекс» объявил о завершении реструктуризации и закрытии сделки с нидерландской компанией Yandex N.V. по продаже ряда активов, включая дата-центр в Финляндии.

Компания ASRock Industrial анонсировала материнскую плату IMB-A8000 типоразмера mini-ITX, ориентированную на промышленный и коммерческий рынки. Новинка может использоваться для построения робототехнических комплексов, систем машинного зрения и пр. В основу положена аппаратная платформа AMD Ryzen Embedded 8000.

Плата предлагается в модификациях IMB-A8000P, IMB-A8000S, IMB-A8000M и IMB-A8000V, которые оснащены соответственно процессором 8845HS (8С/16Т, 3,8 ГГц, 35–54 Вт), 8645HS (6С/12Т, 4,3 ГГц, 35–54 Вт), 8840U (8С/16Т, 3,3 ГГц, 15–30 Вт) и 8640U (6С/12Т, 3,5 ГГц, 15–30 Вт). Есть два слота для модулей DDR5-5600 суммарным объёмом до 96 Гбайт.

Источник изображения: ASRock Industrial

Новинка имеет размеры 170 × 170 мм. Доступны два порта SATA-3 и разъём M.2 Key M 2242/2280 для SSD с интерфейсом PCIe 4.0 x4. В слот M.2 Key E 2230 (PCIe 3.0 x1, USB 2.0) может быть установлен адаптер Wi-Fi, а в слот M.2 Key B 3042/3052 (PCIe 3.0 x1, USB 3.0, USB 2.0) — модем 4G/5G (плюс SIM). В оснащения входят сетевые контроллеры Realtek RTL8125BG 2.5GbE и Realtek RTL8111H 1GbE, звуковой кодек Realtek ALC897, а также слот расширения PCIe 4.0 x8.

Интерфейсный блок содержит два гнезда RJ-45 для сетевых кабелей, четыре порта DP 1.4a, четыре разъёма USB 3.2 Gen2, два последовательных порта (RS-232/422/485), два 3,5-мм аудиогнезда. Через коннекторы на плате можно задействовать ещё три последовательных порта и четыре порта USB 2.0. Питание (12–28 В) подаётся через DC-разъём. Диапазон рабочих температур простирается от -20 до +70 °C.

Компания Micron Technology объявила о старте рассылки образцов модулей памяти DDR5 MRDIMM (Multiplexed Rank Dual Inline Memory Module), специально разработанной для приложений ИИ и HPC. По сравнению с обычными RDIMM у модулей MRDIMM до 39 % выше пропускная способность памяти, на 15 % выше эффективность работы шины и до 40 % ниже задержка. MRDIMM-модули будут иметь ёмкость 32, 64, 96, 128 и 256 Гбайт.

Модули памяти обеспечивают скорость передачи данных 8800 МТ/с и выпускаются в двух форматах: стандартной и увеличенной (TFF, Tall Form Factor) высоты, которые подходят для серверов высотой 1U и 2U. Благодаря улучшенной конструкции модулей TFF температура DRAM снижается до 20 °С при той же мощности и потоке воздуха, обеспечивая более эффективное охлаждение в ЦОД и оптимизируя общее энергопотребление системы для рабочих нагрузок с интенсивным использованием памяти.

Источник изображения: Micron Technology

Сообщается, что новое предложение представляет собой первое поколение семейства Micron MRDIMM и будет совместимо только с процессорами Intel Xeon 6, поскольку стандарт JEDEC для памяти MRDIMM официально ещё не выпущен. Массовые поставки Micron MRDIMM начнутся во II половине 2024 года. Компания сообщила, что последующие поколения MRDIMM будут по-прежнему обеспечивать до 45 % лучшую пропускную способность памяти на канал по сравнению с RDIMM аналогичного поколения.

Ранее образцы MRDIMM (или MR-DIMM) показала ADATA. А SK hynix совместно с Intel и Renesas ещё в конце 2022 года объявила о создании похожего типа памяти — DDR5 MCR (Multiplexer Combined Ranks) DIMM. Весной этого года Micron также показала образцы DDR5-8800 MCR DIMM.

Компания NVIDIA значительно увеличила заказ на ускорители Blackwell у TSMC, сообщает TrendForce со ссылкой на United Daily News (UDN). По данным источника, NVIDIA намерена получить уже не 40 тыс., а 60 тыс. суперускорителей нового поколения, причём 50 тыс. из них придётся на стоечные системы GB200 NVL36. При этом Blackwell всё равно будут в дефиците, как и обещал ещё зимой глава NVIDIA Дженсен Хуанг (Jensen Huang).

B200 включает два тайла, объединённых 2,5D-упаковкой CoWoS-L и соединённых интерконнектом NV-HBI. Чип имеет 208 млрд транзисторов, изготовленных по кастомному техпроцессу TSMC 4NP. GB200 объединяет два ускорителя B200 и один 72-ядерный Arm-процессор Grace. А суперускоритель GB200 NVL72, в свою очередь, объединяет в рамках одной стойки сразу 18 1U-узлов с парой GB200 в каждом (плата Bianca, 72 × B200 и 36 × Grace), провязанных шиной NVLink 5. Вся эта система потребляет порядка 120 кВт, оснащена СЖО и единой DC-шиной питания.

NVIDIA GB200

Однако у GB200 NVL72 довольно специфические требования к окружению, поэтому NVIDIA предлагает суперускоритель попроще — GB200 NVL36, который как раз и должен стать наиболее массовым в данной серии. Эта платформа точно так же занимает целую стойку, но использует 2U-узлы с теми же платами Bianca (суммарно 36 × B200 и 18 × Grace), потребляя всего 66 кВт. При этом всё равно подразумевается использование двух стоек GB200 NVL36, объединённых интерконнектом, так что GB200 NVL72 всё равно получается более энергоэффективным решением.

Источник изображения: NVIDIA

Как отмечает SemiAnalysis, GB200 NVL36 также будет доступен в варианте с платами Ariel, имеющими по одному чипу B200 и Grace. Наконец, во II квартале 2025 года появятся системы B200 NVL72 и B200 NVL36 с x86-процессорами (Miranda). Кроме того, NVIDIA представила и отдельные MGX-узлы GB200 NVL2 с парой GB200. В общем, ускорителей B200 компании понадобится много, чтобы наверняка удержать лидерство на рынке.

По словам UDN, GB200 NVL36 будет стоить порядка $1,8 млн, а GB200 NVL72 обойдётся уже в $3 млн. Одиночный GB200 будет стоить $60–$70 тыс., а самый простой ускоритель B100 оценён в $30–$35 тыс. Нужно подчеркнуть, что это оценки сторонних аналитиков. Сама компания официально не раскрывает стоимость своих продуктов. Это устоявшаяся практика на данном рынке, против которой пошла только Intel, публично назвавшая стоимость ИИ-ускорителей Gaudi. Впрочем, ранее глава NVIDIA намекнул, что B200 будет стоить приблизительно $30–$40 тыс.