Компания SanDisk, которая вскоре станет независимой, отделившись от Western Digital, предложила способ многократного увеличения объёма памяти ИИ-ускорителей. Как сообщает ресурс ComputerBase.de, речь идёт о замене HBM (High Bandwidth Memory) на флеш-чипы с высокой пропускной способностью HBF (High Bandwidth Flash).

На первый взгляд, идея может показаться абсурдной, поскольку флеш-память NAND значительно медленнее DRAM, которая служит основой HBM. Но, по заявлениям SanDisk, архитектура HBF позволяет обойти ограничения, присущие традиционным NAND-изделиям, что сделает память нового типа пригодной для применения в ИИ-ускорителях. При этом HBF планируется использовать прежде всего для задач инференса, а не обучения моделей ИИ.

С каждым новым поколением HBM растёт объём памяти, которым оснащаются ИИ-карты: у современных ускорителей AMD и NVIDIA он достигает 192 Гбайт. Благодаря внедрению HBF компания SanDisk рассчитывает увеличить показатель в 8 или даже 16 раз при сопоставимой цене. Компания предлагает две схемы использования флеш-памяти с высокой пропускной способностью: одна предусматривает полную замену HBM на HBF, а другая — совмещение этих двух технологий.

Источник изображений: ComputerBase.de

В качестве примера SanDisk приводит GPU со 192 Гбайт памяти HBM, которая разделена на восемь стеков по 24 Гбайт. В случае HBF каждый такой стек сможет иметь ёмкость 512 Гбайт. Таким образом, при полной замене HBM ускоритель сможет нести на борту 4 Тбайт памяти: это позволит полностью загрузить большую языковую модель Frontier с 1,8 трлн параметров размером 3,6 Тбайт. В гибридной конфигурации можно, например, использовать связку стеков 2 × HBM плюс 6 × HBF, что в сумме даст 3120 Гбайт памяти.

Архитектура HBF предполагает монтаж кристаллов NAND друг над другом поверх логического кристалла. Вся эта связка располагается на интерпозере рядом с GPU, CPU, TPU или SoC — в зависимости от предназначения конечного изделия. Обычная флеш-память NAND приближается к DRAM по пропускной способности, но не может сравниться с ней по времени доступа. SanDisk предлагает решить проблему путём разделения HBF на массив областей с большим количеством линий данных: это позволит многократно увеличить скорость доступа.

SanDisk разработала архитектуру HBF в 2024 году под «влиянием ключевых игроков в области ИИ». В дальнейшие планы входят формирование технического консультативного совета, включающего партнёров и лидеров отрасли, и создание открытого стандарта. Впрочем, есть и другие методы увеличения объёма памяти ускорителей. Один из них — использование CXL-пулов.

Стартап xAI, курируемый Илоном Маском (Elon Musk), по сообщению ресурса The Information, рассматривает возможность строительства второго крупного дата-центра для ИИ-нагрузок. Вместе с тем в распоряжении Bloomberg оказались сведения о том, что xAI может закупить ИИ-серверы у Dell на сумму в $5 млрд.

Первым ЦОД компании xAI стала площадка в Мемфисе (Теннесси, США), где располагается ИИ-суперкомпьютер Colossus, запущенный в сентябре прошлого года. Первая очередь системы получила 100 тыс. ускорителей NVIDIA H100, а в дальнейшем количество карт NVIDIA планировалось увеличить вдвое. Позднее xAI получила $6 млрд инвестиций: деньги компания намерена направить на то, чтобы довести число ускорителей в составе Colossus до 1 млн штук.

Где именно может расположиться второй дата-центр xAI, не уточняется. Известно, что для финансирования своих масштабных проектов xAI ведёт переговоры о привлечении $10 млрд: в ходе этого раунда стартап может получить оценку на уровне $75 млрд. Средства могут поступить в том числе от существующих инвесторов — Sequoia Capital, Andreessen Horowitz и Valor Equity Partners.

Источник изображения: Майкл Делл

Что касается сделки с Dell, то переговоры якобы находятся на «продвинутой стадии», но окончательное решение пока не принято. Речь идёт о закупке машин на базе NVIDIA GB200. В декабре 2024-го сообщалось, что xAI начала монтаж суперускорителей GB200 NVL72 для ИИ-кластера Colossus: предположительно, поставщиком систем является именно Dell. Кроме того, ранее стало известно, что Dell перехватила у Supermicro крупный заказ на ИИ-серверы для xAI. Таким образом, вероятность заключения контракта на $5 млрд между xAI и Dell весьма высока. Предполагается, что Dell сможет поставить серверы в рамках этого соглашения до конца текущего года.

Крупнейшая коммунальная компания Вирджинии — Dominion Energy, — во II половине 2024 года столкнулась с почти двукратным ростом спроса на электричество для строящихся дата-центров. Именно в этом штате находится крупный кластер ЦОД — Data Center Alley, напоминает Bloomberg.

Общая мощность строящихся дата-центров, операторы которых заключили контракты с Dominion Energy, увеличилась с 21,4 ГВт в июле до 40,2 ГВт в декабре. Как сообщил поставщик электричества в недавнем финансовом отчёте, речь идёт о дата-центрах на различных стадиях строительства — от подготовки площадок до финальных работ.

Спрос на энергию растёт вместе с развитием дата-центров и искусственного интеллекта, а также в связи с расширением производства и общей электрификацией экономики. Именно поэтому Северная Вирджиния получила название Data Center Alley («Аллея дата-центров») — здесь самая высокая концентрация ЦОД в мире. Ранее сообщалось, что по общей мощности сверхкрупных дата-центров Вирджиния опережает и Европу, и Китай.

Источник изображения: Dominion Energy

В Dominion Energy по-прежнему рассчитывают на значительный рост спроса на энергию, даже несмотря на то, что китайская DeepSeek представила чрезвычайно энергоэффективные модели ИИ. Схожего мнения придерживаются инвесторы Blackstone и Brookfield, а также другие игроки рынка ЦОД.

Что касается Dominion Energy, то в компании подчёркивают, что развитие рынка ЦОД в Вирджинии не замедляется — напротив, оно даже ускоряется. Впрочем, в компании признали, что стремительный рост запросов может быть связан с введённой в августе 2024 года системой «оптовой» оценки заявок на электроэнергию, которая рассматривает запросы в порядке их поступления.

По данным Bloomberg, строительные компании возмещают Dominion Energy расходы на создание новой инфраструктуры. Один гигаватт приблизительно эквивалентен мощности атомного реактора — такого объёма энергии хватило бы на питание около 750 тыс. домов. Для сравнения: для своего «конкурента Stargate» Франция, обладающая мощными атомными электростанциями, готова предоставить 1 ГВт электроэнергии — что является лишь небольшой частью от мощности, выделяемой в Вирджинии.

Equinix намерена инвестировать более $1 млрд в строительство кампуса ЦОД в Саудовской Аравии. Новый объект призван удовлетворить спрос на облачные вычисления, искусственный интеллект и корпоративные рабочие нагрузки, сообщает The National. Изначально он будет иметь ёмкость 100 МВт. ЦОД позволит создать рабочие места на самом объекте и будет способствовать их появлению в смежных отраслях — в секторах технологий и услуг.

Как заявляют в Equinix, дата-центр облегчит работу клиентам компании из числа гиперскейлеров и «розничных» пользователей в Саудовской Аравии и за её пределами. Кроме того, его появление привлечёт клиентов на Ближний Восток. Equinix уже присутствует в регионе, ведя бизнес в Омане, Дубае и Абу-Даби. Свой вклад в сектор ЦОД наращивает и Microsoft. Она объявила об открытии в Саудовской Аравии «академии ЦОД», которая будет построена при участии Национальной академии информационных технологий в Даммаме.

Техностартапы королевства тоже получат почти полмиллиарда долларов на развитие. Венчурные фонды и инвесторы, включая STV, Rua Ventures, Beco Capital, Waed Capital и других, анонсировали финансовые обязательства для секторов ИИ, логистики и других направлений на сумму $494 млн. Также запущены новые бизнес-акселераторы и инкубаторы.

Источник изображения: Akil Imran/unsplash.com

Huawei открыла кластер Future Skills Centre, призванный обучить в течение следующих пяти лет 25 тыс. человек в сфере ИИ, облачных технологий и больших данных. Собственную «академию ИИ» откроет и консалтинговая Accenture — совместно с Министерством связи и информационных технологий Саудовской Аравии. Инициатива призвана устранить разрыв между теорией и её реальным применением. Accenture также откроет академию ИИ в Саудовской Аравии в сотрудничестве с Министерством связи и информационных технологий.

Венчурная компания HandsOn Global Investment намерена потратить в Саудовской Аравии $300 млн на разработку и запуск игр — страна продолжает курс на диверсификацию экономики и снижение зависимости от нефтяного сектора. В понедельник местные и мировые инвесторы в совокупности обязались вложить более $7,4 млрд в развитие ИИ и ЦОД в стране — помимо обязательств на $14,9 млрд, объявленных в воскресенье. Планирует построить новый кампус ЦОД в «городе будущего» Неоме и саудовский девелопер DataVolt. Речь идёт об объекте ёмкостью 1,5 ГВт.

Технологические санкции США и подготовка цепочки поставок к поступлению на рынок новейшего оборудования NVIDIA, вероятно, приведут к снижению объёмов продаж ИИ-серверов в 2025 году, сообщает The Register со ссылкой на мнение независимых экспертов. Так, TrendForce сообщает, что поставки ИИ-серверов в прошлом году выросли на 46 %, преимущественно благодаря заказам провайдеров облачных сервисов (CSP). В частности, производитель серверов Foxconn объяснил недавний рекордный рост выручки именно продажами ИИ-серверов.

При этом в TrendForce рассматривают несколько вариантов развития событий на рынке серверов в 2025 году из-за неопределённости, царящей в нише ИИ-решений. Наиболее вероятным считается дальнейшее расширение рынка, но с более низким годовым приростом. Впрочем, даже в таких условиях он может превысить 30 % — Microsoft, Meta✴, Amazon и Google намерены увеличить капитальные затраты на ИИ-инфраструктуру. Как ожидается, это будет способствовать поддержке спроса на ИИ-серверы.

Наихудшим сценарием, по оценке TrendForce, причём следующим по вероятности, является рост поставок ИИ-серверов до «всего» 20–25 %. Этот прогноз учитывает ужесточение США экспорта ИИ-чипов в Китай, что создаёт большую неопределённость на рынке. Кроме того, не исключены задержки поставок стоечных решений NVIDIA на основе суперчипов Grace Blackwell — их структура довольно сложна, поэтому масштабное развёртывание откладывается на II половину года.

Источник изображения: Foxconn

Более оптимистичный сценарий предполагает, что масштабные проекты в Китае и США (например, Stargate) помогут ускоренному развёртыванию ИИ-серверов. Кроме того, хотя триумф DeepSeek может негативно повлиять на необходимость внедрения большого количества ИИ-ускорителей, он же способен расширить применение искусственного интеллекта, стимулируя рост ИИ на периферии. При удачном стечении обстоятельств поставки ИИ-серверов вырастут в 2025 году почти на 35 %.

Недавно глава IBM Арвинд Кришна (Arvind Krishna) уже предсказал, что использование аналогичных решениям DeepSeek экономичных и эффективных технологий не только не приведёт к падению рынка, но, наоборот, значительно увеличит использование оборудования после снижения «порога входа» для применения ИИ-моделей. Схожей позиции придерживаются инвесторы в ИИ-инфраструктуру вроде Blackstone и Brookfield, ожидающие, что спрос на ЦОД и оборудование не уменьшится.

В TrendForce ожидают, что влияние DeepSeek будет способствовать переходу облачных операторов на недорогие чипы собственной разработки, поскольку акцент в последнее время смещается с обучения ИИ на инференс. В результате серверы, оптимизированные для запуска моделей, займут большую часть рынка. Вероятно, рынок серверов станет более сегментированным, поскольку крупные облачные игроки продолжат инвестиции в высокопроизводительные решения, а корпоративные заказчики будут отдавать предпочтение более экономичным альтернативам.

Компания Swissbit анонсировала SSD семейства A1200, рассчитанные на использование в коммерческом и индустриальном сегментах. Изделия подходят для таких задач, как автоматизация, робототехника, аналитика данных, периферийные вычисления и пр. Накопители выполнены в форм-факторе М.2 2280 на основе чипов флеш-памяти 3D eTLC NAND. Задействован интерфейс PCIe 4.0 х4 (NVMe 1.4). Устройства способны выдерживать до одной полной перезаписи в сутки (1 DWPD) на протяжении пяти лет.

В серию вошли модели вместимостью 480 Гбайт, 960 Гбайт и 1,92 Тбайт. Скорость последовательного чтения информации достигает 6000 Мбайт/с, скорость последовательной записи — 1800 Мбайт/с. Величина IOPS при работе с блоками данных по 4 Кбайт составляет до 800 тыс. при произвольном чтении и до 60 тыс. при произвольной записи. Реализована поддержка TCG Opal 2.0 и шифрования AES-256, а также функции безопасного удаления информации Crypto Erase.

Источник изображения: Swissbit

Накопители используют фирменную технологию Swissbit powersafe с высококачественными танталовыми конденсаторами, которая обеспечивает защиту от сбоев питания и гарантирует целостность данных даже в условиях нестабильного энергоснабжения. Диапазон рабочих температур простирается от 0 до +70 °C. Кроме того, компания Swissbit предложит изделия A1000 с аналогичными техническими характеристиками: эти SSD могут эксплуатироваться при температурах от -25 до +85 °C. Все накопители будут предлагаться в модификациях с радиатором охлаждения и без такового.

Британская компания Arm, 90 % которой принадлежит японскому холдингу SoftBank, выйдет на рынок процессоров для серверов, ориентированных на крупные дата-центры. Как сообщает газета Financial Times, эти изделия дебютируют в текущем году, а их первым заказчиком станет Meta✴ Platforms.

Весной 2024 года сообщалось, что Arm намерена разработать собственный ИИ-чип. Тогда говорилось, что его массовый выпуск будет налажен к осени 2025-го на мощностях контрактного производителя. В частности, холдинг SoftBank вёл переговоры на соответствующую тему с TSMC.

Источник изображения: Arm

Как теперь стало известно, первым изделием собственной разработки Arm станет серверный CPU, а не ИИ-чип. Архитектура готовящегося решения предполагает возможность кастомизации под нужды заказчика. Этим воспользуется Meta✴, которая активно расширяет инфраструктуру ЦОД, а перспективе намерена потратить «сотни миллиардов долларов» на развитие ИИ-экосистемы. Рене Хаас (Rene Haas), генеральный директор Arm, отметил, что компания намерена официально представить процессор предстоящим летом. При этом вдаваться в подробности о технических характеристиках изделия он не стал.

Выход Arm на рынок аппаратных решений будет означать серьёзное изменение бизнес-модели: ранее компания зарабатывала на лицензировании своих разработок другим участникам рынка, в том числе поставщикам решений для дата-центров и облачных платформ. Вместе с тем в ИИ-сегменте Arm увеличивает выручку путём постоянного повышения лицензионных сборов за свои технологии и благодаря взиманию роялти за каждый чип, продаваемый другими компаниями.

Недавно также сообщалось, что SoftBank вскоре может заключить сделку по покупке разработчика серверных Arm-чипов Ampere за $6,5 млрд. Таким образом, японский холдинг и подконтрольная ему британская Arm готовятся составить серьёзную конкуренцию другим игрокам рынка процессоров для серверов. У AWS, Google Cloud и Microsoft Azure уже есть собственные серверные Arm-процесоры: Graviton, Axion и Cobalt 100.

Компания HPE анонсировала серверы семейства ProLiant Compute Gen12 для рабочих нагрузок с интенсивным использованием данных, включая приложения ИИ, гибридных облачных сред и периферийных вычислений. В основу новинок положены процессоры Intel Xeon 6 серии 6700E (Sierra Forest-SP, до 144 E-ядер). Они же будут совместимы и с 6700P (Granite Rapids-SP, до 86 P-ядер). Отличие от AP-версий не только в количестве ядер, но и в поддержке только восьми каналов памяти (DDR5-6400).

Дебютировали шесть моделей Gen12: ProLiant Compute DL320, ProLiant Compute DL340, ProLiant Compute DL360, ProLiant Compute DL380 и ProLiant Compute DL380a для монтажа в стойку, а также ProLiant Compute ML350 в башенном исполнении. Для некоторых вариантов доступно прямое жидкостное охлаждение.

Модель ProLiant Compute DL320 Gen12 в форм-факторе 1U допускает установку одного чипа Xeon 6, а также 2 Тбайт оперативной памяти DDR5 (16 слотов DIMM). Подсистема хранения данных может иметь следующую конфигурацию: 20 × EDSFF, 8 × SFF или 4×/10×/12× LFF. Возможен монтаж четырёх GPU одинарной ширины или двух ускорителей двойной ширины. Допускается применение воздушного или жидкостного охлаждения.

Источник изображений: HPE

Сервер ProLiant Compute DL340 Gen12, в свою очередь, имеет типоразмер 2U. Он рассчитан на один процессор Xeon 6. Объём ОЗУ может составлять до 4 Тбайт в виде 16 модулей DDR5. Накопители монтируются по схеме 20 × EDSFF, 8 × SFF или 12 × LFF. Поддерживаются шесть GPU-карт одинарной ширины или четыре ускорителя двойной ширины. Задействовано оптимизированное воздушное охлаждение со стандартными или высокопроизводительными комплектами радиаторов и вентиляторов.

ProLiant Compute DL360 Gen12 — двухсокетный сервер 1U, разработанный для высокопроизводительных вычислений, виртуализации, гибридных облачных сред и пр. Он может комплектоваться максимум 8 Тбайт памяти DDR5 в 32 слотах, тремя GPU-ускорителями одинарной ширины. Подсистема хранения может включать следующие накопители: 20 × EDSFF, 10 × SFF или 4 × LFF. Возможно применение воздушного охлаждения, жидкостного охлаждения с замкнутым контуром и прямого жидкостного охлаждения.

Сервер ProLiant Compute DL380 Gen12 формата 2U также может оснащаться двумя процессорами и 8 Тбайт памяти DDR5. Заявлена поддержка до восьми ускорителей одинарной ширины или до трёх карт двойной ширины. В зависимости от конфигурации могут монтироваться накопители стандарта EDSFF (×36), SFF (×24) или LFF (×12). Поддерживается воздушное и прямое жидкостное охлаждение.

Модель ProLiant Compute DL380a Gen12 в форм-факторе 4U создана для ресурсоёмких задач с ускорением на базе GPU: поддерживаются до 16 карт одинарной ширины или до восьми карт двойной ширины, включая NVIDIA H200 NVL, H100 NVL, L4 и L40S. Сервер может нести на борту два процессора и до 4 Тбайт памяти DDR5 в виде 32 модулей. Могут быть установлены до 16 накопителей EDSFF или до восьми изделий SFF.

Наконец, ProLiant Compute ML350 Gen12 — двухсокетный башенный сервер для периферийных вычислений, а также малого и среднего бизнеса. Он поддерживает два чипа Xeon 6 (до 86 ядер), 8 Тбайт оперативной памяти DDR5 в 32 слотах, восемь ускорителей одинарной ширины или четыре карты двойной ширины. Для накопителей доступны следующие варианты монтажа: до 12 × LFF HDD/SSD с интерфейсом SAS/SATA, 24 × SFF HDD/SSD с интерфейсом SAS/SATA, 16 × SFF NVMe SSD, 24 × SFF NVMe SSD или 12 × EDSFF 3.S 1T.

Отмечается также, что летом нынешнего года в новое семейство войдут блейд-сервер HPE Synergy 480 и четырёхпроцессорная модель ProLiant Compute DL580 Gen12, но их технические характеристики пока не раскрываются. Все новинки получат систему управления iLO 7.

Инновационный город Неом (Neom), расположенный на северо-западе Саудовской Аравии, получит экологичный 1,5-ГВт ЦОД, строительством которого займётся DataVolt. Первая фаза строительства с инвестициями в $5 млрд, как ожидается, будет закончена к 2028 году. Дата-центр расположится в плавучем районе Oxagon.

ЦОД будет поддерживать различные варианты плотности размещения вычислительных мощностей, энергоэффективные архитектуры и передовые системы охлаждения, чтобы избежать проблем, характерных для традиционных дата-центров, говорится в пресс-релизе.

Руководство Oxagon заявило, что Саудовская Аравия находится в авангарде мирового энергетического перехода. В Oxagon активно развивают экосистему поставок возобновляемой энергии — ЦОД будет запитан именно от них. Соглашение с DataVolt закладывает основы для первых экологически чистых ИИ-решений, которые будут развёрнуты в Саудовской Аравии. Также оно обеспечит необходимые вычислительные мощности для работы бизнесов на региональном и мировом уровне.

Источник изображения: DataVolt

В DataVolt заявили, что соглашение с «городом будущего» и Oxagon свидетельствует о поддержке стремлений страны превратиться в региональный цифровой и ИИ-хаб. А стратегическое положение Oxagon у побережья Красного моря вкупе с доступом к подводным оптоволоконным кабелям, обилием возобновляемой энергии, доступным «зелёным» водородом и быстро расширяющейся индустриальной экосистемой делают город идеальным местом для строительства крупномасштабного «зелёного» кампуса.

Meta✴ ведет переговоры о приобретении южнокорейского стартапа FuriosaAI, разработчика ИИ-ускорителей, базирующегося в Сеуле (Южная Корея) и Санта-Кларе (США), что позволит ей выпускать собственные кастомные чипы на фоне нехватки ускорителей NVIDIA, сообщил Forbes со ссылкой на информированные источники.

По словам одного из источников, сделка может быть заключена уже в этом месяце. Другой источник утверждает, что ещё несколько компаний ведут переговоры о приобретении FuriosaAI. Компанию основал в 2017 году Джун Пайк (June Paik), ранее работавший в Samsung Electronics и AMD и занимающий сейчас пост гендиректора.

FuriosaAI привлекла в общей сложности около ₩170 млн (около $115 млн) венчурного финансирования. Среди первых инвесторов были южнокорейский интернет-гигант Naver и базирующаяся в Сеуле DSC Investment. В последнем раунде финансирования, прошедшем на прошлой неделе, FuriosaAI получила ₩2 млрд (около $1,4 млн) от южнокорейской CRIT Ventures.

В августе прошлого года FuriosaAI представила энергоэффективный ИИ-ускоритель RNGD, который был разработан в партнёрстве с тайваньским производителем микросхем Global Unichip Corp. По словам компании, RNGD является идеальным выбором для крупномасштабного развёртывания продвинутых моделей генеративного ИИ, таких как Llama 2 и Llama 3, поскольку не уступает передовым ускорителям по производительности, отличаясь при этом низким TDP в пределах 150 Вт.

Источник изображения: FuriosaAI

RNGD предназначен для инференса и оснащён HBM3-памятью SK hynix. FuriosaAI сообщила, что RNGD показывает в три раза большую производительность в расчёте на 1 Вт, чем ускорители NVIDIA H100 при запуске продвинутых больших языковых моделей (LLM). Как ожидается, массовое производство RNGD начнётся во II половине 2025 года.

При этом сама Meta✴ разработала уже два поколения собственных ИИ-ускорителей для инференса. И если от MTIA v1 в итоге было решено отказаться в пользу в первую очередь продуктов NVIDIA, то MTIA v2, судя по всему, активно внедряются, но их всё ещё не хватает для удовлетворения потребностей компании.

Источник изображения: Meta✴

По данным Forbes, заинтересованность в RNGD также продемонстрировали исследовательская ИИ-лаборатория LG и Saudi Aramco. В сентябре последняя подписала меморандум о взаимопонимании с FuriosaAI и Cerebras Systems, ещё одним производителем ИИ-ускорителей, для «изучения сотрудничества в области суперкомпьютеров и ИИ».

Переговоры проходят спустя несколько месяцев после того, как ещё один южнокорейский стартап в сфере ИИ Rebellions, завершил слияние с поддерживаемой SK hynix компанией Sapeon. Объединённая компания, которая осуществляет деятельность под брендом Rebellions, является первым в Южной Корее единорогом в области производства чипов ИИ.