Илон Маск (Elon Musk) заявляет, что к лету 2025 года его ИИ-стартап xAI введёт в эксплуатацию суперкомпьютер c 300 тыс. новейших ускорителей NVIDIA B200 и SuperNIC ConnectX-8, передаёт Datacenter Dynamics. Заодно Маск пообещал уже в ближайшие месяцы ввести в эксплуатацию кластер из 100 тыс. ускорителей NVIDIA H100 с жидкостным охлаждением.

При этом важно помнить, что Маск нередко даёт обещания, которые потом никогда не выполняет или выполняет совсем не так, как ожидалось. Например, на днях The Information сообщала, что 100 тыс. ускорителей H100 должны заработать только следующим летом. Вероятнее всего, компания построит компактный и относительно недорогой кластер, который позже расширится до 100 тыс. ускорителей. Такую же схему могут реализовать и с системой из 300 тыс. ускорителей.

Предполагается, что такой суперкомпьютер будет стоить десятки миллиардов долларов — больше, чем xAI привлекла от инвесторов. По словам главы NVIDIA Дженсена Хуанга (Jensen Huang), один B200 стоит $30-40 тыс. Даже если Маску удастся приобрести ускорители подешевле, речь будет идти о $9 млрд. С учётом того, что компании понадобится инфраструктура, связь, классические процессоры, земля и коммунальное обслуживание, речь будет идти о ещё более дорогостоящем проекте — даже не принимая во внимание стоимости потребляемой воды и электроэнергии.

Источник изображения: Alexander Grey/unsplash.com

В прошлом месяце xAI привлекла $6 млрд в ходе очередного раунда финансирования, что подняло стоимость компании до $24 млрд. В совокупности с предыдущим раундом, в ходе которого удалось собрать $1 млрд, средств будет достаточно для покупки 100 тыс. H100, оплату работы персонала и текущих вычислительных потребностей — пока xAI арендует около 16 тыс. ускорителей H100 у Oracle Cloud, а недавно сообщалось о намерении xAI потратить $10 млрд на серверы в облаке Oracle.

Компания Nutanix, специализирующаяся на разработке решений в области гибридных мультиоблачных платформ и HCI, объявила о партнёрстве с Dell Technologies, благодаря которому их клиенты смогут использовать гибридные мультиоблачные решения Dell и Nutanix для улучшения ИТ-операций, повышения отказоустойчивости и гибкости в работе.

Как сообщается, Nutanix и Dell будут сотрудничать в работе над двумя решениями. Клиенты смогут оптимизировать развёртывание частных и гибридных мультиоблачных сред благодаря сочетанию предложений Dell по серверам и СХД и ПО Nutanix. В рамках соглашения Dell предложит интегрированное гиперконвергентное решение «под ключ», которое объединяет облачную платформу Nutanix Cloud Platform (NCP) с серверами Dell. Решение будет доступно в широком ассортименте моделей и конфигураций серверов PowerEdge для широкого спектра приложений.

Источник изображений: Nutanix

Чтобы обеспечить гибкость и возможность выбора экосистемы платформа NCP for Dell PowerFlex объединит преимущества NCP на базе гипервизора AHV с программно-определяемым блочным хранилищем Dell PowerFlex. Решение позволит клиентам масштабировать хранилище независимо от вычислений.

Помимо предоставления двух новых совместных решений, компании будут сотрудничать в области проектирования, вывода решений на рынок, поддержки и обслуживания. Решения будут предлагаться отделами продаж и партнёрами Dell по всему миру, что позволит Nutanix расширить сеть дистрибуции. Совместные решения Dell и Nutanix пока находятся в разработке и появятся в раннем доступе позднее в этом году. Кроме того, Nutanix договорилась об интеграции AHV с Cisco ACI Virtual Machine Manager (VMM).

Также Nutanix сделала своё хранилище доступным в AWS EKS, пишет The Register. Ресурс также отметил, что Nutanix представила платформу Nutanix Kubernetes Platform (NKP), появившуюся в результате приобретения в конце 2023 года фирмы D2IQ (MesSphere). Главная особенность платформы заключается в том, что она позволяет управлять кластерами, работающими в средах, отличных от Nutanix. Эта особенность будет использоваться в анонсированном Nutanix в прошлом году проекте Project Beacon, нацеленном на создание ряда продуктов PaaS, которые работают в любом облаке и не требуют наличия стека Nutanix.

Также Nutanix расширила поддержку гипервизором AHV большего количества оборудования, добавив в этот перечень узлы VSAN Ready Node — ориентированные на системы хранения данных серверы, которые OEM-производители создают для массивов хранения данных VMware. Nutanix гарантирует, что AHV сможет работать на этих устройствах, если пользователи захотят перепрофилировать их. Это поможет тем, кто, возможно, пожелает прекратить или уменьшить использование решений VMware после её поглощения Broadcom.

Как сообщает Reuters со ссылкой на The Information, Илон Маск планирует построить гигантский суперкомпьютер для своего ИИ-стартапа xAI для работы над следующей версией чат-бота Grok. Запуск предполагаемого суперкомпьютера ожидается к осени 2025 года, при этом, по словам Маска, xAI может сотрудничать с Oracle.

Для обучения Grok 2 использовалось около 20 тыс. ускорителей NVIDIA H100, а для Grok 3 и более поздних версий потребуется уже 100 тыс. NVIDIA H100. После завершения строительства суперкомпьютер будет как минимум в четыре раза больше самых больших существующих на сегодняшний день GPU-кластеров, утверждается в презентации, сделанной для инвесторов в мае. Семейство ускорителей NVIDIA доминирует на рынке ИИ-чипов для ЦОД, но из-за высокого спроса их может быть трудно приобрести.

Источник изображения: NVIDIA

Маск основал xAI в прошлом году в качестве конкурента OpenAI и Google. Маск также был соучредителем OpenAI и членом совета директоров до 2018 года. В феврале этого года он подал иск к OpenAI и соучредителям Альтману и Брокману, посчитав, что они нарушили соглашение о некоммерческом характере деятельности.

ИИ-стартап Илона Маска (Elon Musk) xAI готов потратить $10 млрд на серверы в облаке Oracle. По данным The Information, ссылающейся на осведомлённые источники, компании ведут переговоры о долгосрочном сотрудничестве, которое сделает детище Маска одним из крупнейших клиентов Oracle.

Предполагается, что xAI требуется больше вычислительных ресурсов для соперничества с OpenAI, Anthropic и другими компаниями, уже заключившими многомиллиардные инвестиционные сделки с Microsoft и AWS соответственно. Это позволяет им получать доступ к облачной инфраструктуре для обучения и запуска больших языковых моделей (LLM). Например, Microsoft и OpenAI, по слухам, готовы потратить $100 млрд на кампус ЦОД Stargate ёмкостью 5 ГВт. Пока Micosoft вынуждена сама арендовать часть ИИ-ускорителей у Oracle.

В прошлом году xAI представила чат-бот Grok, доступный платным пользователям соцсети X, а сейчас разрабатывается вторая версия. Имеются сведения, что xAI завершает раунд привлечения инвестиций в размере $6 млрд, а Маск уже заявил, что полученные средства будут потрачены на аренду инфраструктуры. В прошлом месяце миллиардер заявил, что новинка обучается на 20 тыс. ускорителей NVIDIA, но для Grok 3.0 потребуется уже 100 тыс. ускорителей.

Источник изображения: Towfiqu barbhuiya/unsplash.com

Маск и основатель Oracle Ларри Эллисон (Larry Ellison) крепко дружат, кроме того, Элиссон входил в совет директоров Tesla. В декабре прошлого года он заявлял, что xAI уже является крупнейшим клиентом Oracle и утверждал, что у облачного гиганта достаточно ускорителей для Grok первого поколения, но, по его признанию, в xAI хотят намного больше. Сейчас xAI арендует у Oracle 15 тыс. ускорителей NVIDIA H100. Tesla, ещё одно детище Маска, уже ввела в эксплуатацию ИИ-ресурсы, эквивалентные по производительности 35 тыс. H100.

ИИ-инфраструктура стала выгодным источником дохода для облачного оператора, в марте Эллисон заявлял, что компания строит новые ЦОД, включая некий «крупнейший в мире» объект. Примечательно, что после покупки социальной сети Twitter (ныне X), Маск и его менеджмент не хотели платить за услуги Oracle (а также AWS и Google), пытаясь оптимизировать расходы.

Компания SiPearl уточнила спецификации разрабатываемых ею серверных Arm-процессоров Rhea1, которые будут использоваться, в частности, в составе первого европейского экзафлопсного суперкомпьютера JUPITER, хотя основными чипами в этой системе будут всё же гибридные ускорители NVIDIA GH200. Заодно SiPearl снова сдвинула сроки выхода Rhea1 — изначально первые образцы планировалось представить ещё в 2022 году, а теперь компания говорит уже о 2025-м.

При этом существенно дизайн процессоров не поменялся. Они получат 80 ядер Arm Neoverse V1 (Zeus), представленных ещё весной 2020 года. Каждому ядру полагается два SIMD-блока SVE-256, которые поддерживают, в частности, работу с BF16. Объём LLC составляет 160 Мбайт. В качестве внутренней шины используется Neoverse CMN-700. Для связи с внешним миром имеются 104 линии PCIe 5.0: шесть x16 + две x4. О поддержке многочиповых конфигураций прямо ничего не говорится.

Источник изображения: SiPearl

Очень похоже на то, что SiPearl от референсов Arm особо и не отдалялась, поскольку Rhea1 хоть и получит четыре стека памяти HBM, но это будет HBM2e от Samsung. При этом для DDR5 отведено всего четыре канала с поддержкой 2DPC, а сам процессор ожидаемо может быть поделён на четыре NUMA-домена. И в такой конфигурации к общей эффективности работы с памятью могут быть вопросы. Именно наличие HBM позволяет говорить SiPearl о возможности обслуживать и HPC-, и ИИ-нагрузки (инференс).

Источник изображения: SiPearl

На примере Intel Xeon Max (Sapphire Rapids c 64 Гбайт HBM2e) видно, что наличие сверхбыстрой памяти на борту даёт прирост производительности в означенных задачах, хотя и не всегда. Однако это другая архитектура, другой набор инструкций (AMX), другая же подсистема памяти и вообще пока что единичный случай. С Fujitsu A64FX сравнения тоже не выйдет — это кастомный, дорогой и сложный процессор, который, впрочем, доказал эффективность и в HPC-, и даже в ИИ-нагрузках (с оговорками). В MONAKA, следующем поколении процессоров, Fujitsu вернётся к более традиционному дизайну.

Источник изображения: EPI

Пожалуй, единственный похожий на Rhea1 чип — это индийский 5-нм C-DAC AUM, который тоже базируется на Neoverse V1, но предлагает уже 96 ядер (48+48, два чиплета), восемь каналов DDR5 и до 96 Гбайт HBM3 в четырёх стеках, а также поддержку двухсокетных конфигураций. AWS Graviton3E, который тоже ориентирован на HPC/ИИ-нагрузки, вообще обходится 64 ядрами Zeus и восемью каналами DDR5. Наконец, NVIDIA Grace и Grace Hopper в процессорной части тоже как-то обходятся интегрированной LPDRR5x, да и ядра у них уже Neoverse V2 (Demeter), и своя шина для масштабирования имеется.

Источник изображения: EPI

В любом случае в 2025 году Rhea1 будет выглядеть несколько устаревшим чипом. Но в этом же году SiPearl собирается представить более современные чипы Rhea2 и обещает, что их разработка будет не столь долгой как Rhea1. Компанию им должны составить европейские ускорители EPAC, тоже подзадержавшиеся. А пока Европа будет обходиться преимущественно американскими HPC-технологиями, от которых стремится рано или поздно избавиться.

Компания Huawei, по сообщению Datacenter Dynamics, представила СХД нового поколения OceanStor A800, специально разработанную для задач ИИ. Новинка позволяет формировать массивы экзабайтного уровня.

Питер Чжоу (Peter Zhou), президент подразделения систем хранения Huawei, отмечает, что стремительное внедрение ИИ, в том числе генеративных сервисов, изменило требования к традиционным платформам СХД. Поэтому возникают проблемы с производительностью, надёжностью и масштабируемостью. В этой связи Huawei стремится переосмыслить подход к хранению информации, внедряя инновации по ряду направлений, включая новые парадигмы данных, повышение устойчивости и быстродействия.

Источник изображений: Huawei

Платформа OceanStor A800 использует архитектуру SmartMatrix Pro для разделения уровней данных и управления: это позволяет передавать информацию через интерфейсные модули на/с SSD, обходя узкие места, связанные с CPU и памятью. В результате, как утверждается, производительность повышается практически на порядок по сравнению с традиционными хранилищами. В частности, A800 до восьми раз быстрее позволяет загружать наборы данных для обучения ИИ, а средняя утилизация GPU/NPU в кластере повышается почти на треть.

Новая система выполнена в формате 8U. Конструкция включает два модуля обработки с поддержкой CPU и GPU, а также два модуля хранения на основе SSD. В качестве CPU применяется фирменное изделие Huawei Kunpeng с архитектурой Arm. Модули обработки могут дооснащаться дополнительными GPU, DPU и NPU. Основной шиной является PCIe 5.0. Показатель IOPS достигает 24 млн, а пропускная способность — 500 Гбайт/с.

СХД поддерживает проприетарные накопители Palm SSD с высокоплотной упаковкой NAND-чипов и вместимостью 30 или 50 Тбайт, а в следующем году будет реализована возможность применения SSD на 128 Тбайт. Утверждается, что OceanStor A800 обеспечивает плотность хранения более 1 Пбайт на 1U, а энергоэффективность составляет 0,7 Вт/Тбайт. Платформа может масштабироваться до 512 контроллеров и 4096 вычислительных блоков, что обеспечивает вместимость в экзабайты и возможность обслуживания моделей с триллионами параметров.

Применена параллельная файловая система OceanFS, причём Huawei предлагает унифицированное управление данными сразу в нескольких кластерах посредством Omni-Dataverse. Поддерживаются протоколы NFS, SMB, HDFS, S3, POSIX, MP-IO, а также интерфейсы для работы с векторными/тензорными данными. Предусмотрены встроенные средства обнаружения программ-вымогателей, эффективность которых, по заявлениям Huawei, достигает 99,99 %.

Banana Pi, по сообщению ресурса CNX Software, начала поставки одноплатного компьютера BPI-F3, особенностью которой является использование процессора SpacemiT K1 на открытой архитектуре RISC-V. Изделие подходит для работы с приложениями ИИ. Новинка была анонсирована в феврале этого года.

Чип SpacemiT K1 объединяет восемь 64-бит RISC-V ядер, неназванный графический блок с поддержкой OpenCL 3.0, OpenGL ES3.2 и Vulkan 1.2, а также нейропроцессорный модуль (NPU) с производительностью до 2 TOPS. Говорится о возможности кодирования/декодирования материалов H.265, H.264, VP9, VP8.

Источник изображения: Banana Pi

Объём оперативной памяти LPDDR4 может составлять 2 или 4 Гбайт, вместимость флеш-модуля eMMC — 8 или 16 Гбайт. Есть слот для карты microSD и коннектор M.2 Key-M для SSD с интерфейсом PCIe 2.1 x1 или SATA. Опционально могут быть добавлены флеш-чипы SPI NAND на 32 Мбайт и SPI NOR на 4 Мбайт.

В оснащение входят два порта 1GbE (RJ-45) на контроллере Realtek RTL8211F с опциональной поддержкой PoE (через плату RT5400), а также адаптеры Wi-Fi 5 (2,4/5 ГГц) и Bluetooth 4.2 на базе Realtek RTL8852BS. Дополнительно предлагается модем 4G в виде модуля mPCIe (плюс слот для SIM-карты).

Доступны четыре порта USB 3.0 Type-A, разъём USB 2.0 Type-C и коннектор HDMI 1.4 (до 1080p60). Поддерживаются интерфейсы MIPI DSI (4 линии) и 2 × MIPI-CSI (4 линии). Кроме того, упомянуты 26-контактная колодка GPIO, инфракрасный порт и разъём для подсоединения вентилятора. Питание (12 В / 3 A) подаётся через DC-гнездо. Габариты составляют 148 × 100 мм, вес — около 200 г. Цена начинается примерно с $63.

Китайская компания Loongson, по сообщению ресурса CNX Software, поставляет процессор 2K1000LA для промышленных устройств и оборудования IoT. Этот чип лёг в основу одноплатного компьютера Banana Pi BPI-5202, который предлагается по ориентировочной цене $220.

64-бит процессор Loongson 2K1000LA содержит два вычислительных ядра на архитектуре LoongArch с частотой 1 ГГц. Кеш инструкций и кеш данных L1 составляет по 32 Кбайт, общий кеш L2 — 1 Мбайт. Имеется контроллер памяти DDR3-1066. Среди поддерживаемых интерфейсов — SATA 2.0, 2 × DVO, I2S, HDA, GMAC, USB 2.0, PCIe 2.0 х2, SPI, UART, GPIO, SDIO, I2C. Энергопотребление чипа варьируется от 1 до 5 Вт.

Источник изображений: CNX Software

Одноплатный компьютер Banana Pi BPI-5202, в свою очередь, несёт на борту 4 Гбайт памяти DDR3 и флеш-модуль NAND ёмкостью 1 Гбайт. Есть коннектор M.2 2242 для SATA SSD. Предусмотрены два сетевых порта 1GbE, а опционально может быть установлен адаптер Wi-Fi или модем 4G/5G (есть слот Nano SIM) в виде модуля mPCIe.

Изделие оснащено портом HDMI 1.4 с поддержкой видео 1080p60, двумя гнёздами RJ-45 для сетевых кабелей, двумя портами USB 2.0 Type-A, коннектором для вентилятора охлаждения и гнездом для подачи питания (9–36 В). Есть 20-контактная колодка GPIO с поддержкой RS485 и SPI, а также 20-контактный коннектор UART FPC. Возможно использование интерфейсов RS485 и RS232 с изоляцией.

Габариты платы составляют 140 × 100 мм. Говорится о совместимости с платформами  Loongnix Linux и LoongOS. Для новинки будут доступны различные I/O-модули.

В семействе одноплатных компьютеров Banana Pi, по сообщению ресурса CNX Software, появилась низкопрофильная модель BPI-M5 Pro, предназначенная прежде всего для построения интеллектуальных устройств Интернета вещей (AIoT). Говорится о совместимости с Android 14, Debian 11, Armbian Ubuntu и Debian.

Новинка имеет размеры 92 × 62 мм. Используется процессор Rockchip RK3576, который содержит по четыре ядра Cortex-A72 (2,2 ГГц) и Cortex-A53 (1,8 ГГц), а также микроконтроллер Arm Cortex-M0. Есть GPU-блок Arm Mali-G52 MC3 с поддержкой OpenGL ES 1.1, 2.0 и 3.2, OpenCL 2.0 и Vulkan 1.1. Встроенный нейропроцессорный модуль облает ИИ-производительностью до 6 TOPS (INT8) и поддержкой INT4/INT8/INT16/BF16/TF32.

Источник изображения: CNX Software

Одноплатный компьютер может нести на борту 8 или 16 Гбайт оперативной памяти LPDDR4x. В дополнение к флеш-модулю eMMC вместимостью 32 или 128 Гбайт можно установить карту microSD и накопитель M.2 2280 NVMe SSD с интерфейсом PCIe 2.1 x1. В оснащение входят адаптеры Wi-Fi 6 и Bluetooth 5.2 на базе Realtek RTL8852BS, двухпортовый сетевой контроллер 1GbE с разъёмами RJ-45, по одному порту USB 3.0, USB 2.0 и USB Type-C, 40-контактная колодка GPIO и дополнительный коннектор USB Type-C для подачи питания (4,5–23 В). Имеются разъёмы для подключения вентилятора охлаждения и батареи.

Для вывода изображения служат интерфейсы HDMI 2.0 (до 4Kp120), MIPI DSI (до 2Kp60) и DisplayPort 1.4 (через USB-C; до 4Kp120). Устройство может справляться с декодированием материалов H.264, H.265, VP9, AV1, AVS2 с разрешением 8K (до 30 к/с) или 4K (до 120 к/с), а также кодированием H.264 и H.265 с разрешением 4K (60 к/с). Доступны два коннектора камеры MIPI CSI. Диапазон рабочих температур простирается от 0 до +80 °C. Ориентировочная цена составляет $150 с 16 Гбайт RAM и eMMC на 128 Гбайт.

Администрация общих служб США (GSA) реализовала на аукционе НРС-систему под названием Cheyenne, которая была введена в строй в Центре суперкомпьютерных вычислений NCAR-Wyoming (NWSC) штата Вайоминг в 2016 году. Стоимость лота составила $480 085, тогда как затраты на строительство машины оцениваются как минимум в $25 млн.

Cheyenne стал одним из последних суперкомпьютеров компании Silicon Graphics International (SGI). Корпорация HPE приобрела эту фирму после того, как Cheyenne был смонтирован, но до фактического запуска системы в эксплуатацию. На момент начала работы производительность комплекса составляла 5,34 Пфлопс, что соответствовало 20 месту в актуальном тогда списке ТОР500.

Cheyenne представляет собой кластер SGI ICE XA с 4032 узлами, каждый из которых содержит два процессора Intel Xeon E5-2697v4 Broadwell (18C/36; 2,3 ГГц). Таким образом, суммарное количество ядер достигает 145 152. Применяется оперативная память DDR4-2400 ECC общей ёмкостью 313 Тбайт (4890 модулей на 64 Гбайт). В состав машины изначально входило хранилище данных вместимостью 40 Пбайт. Энергопотребление — приблизительно 1,7 МВт. Задействована система жидкостного охлаждения.

Источник изображения: GSA

Две стойки управления с воздушным охлаждением состоят из 26 серверов типоразмера 1U (20 со 128 Гбайт ОЗУ и ещё 6 с 256 Гбайт ОЗУ), 10 коммутаторов и двух блоков питания. Суперкомпьютер эксплуатировался с 12 января 2017 года по 31 декабря 2023-го, решая задачи в области изменений климата и в других сферах, связанных с науками о Земле. Cheyenne превзошёл свой запланированный срок службы: в заявлении NWSC говорилось, что он будет эксплуатироваться до 2021 года. Однако к концу 2023-го количество сбоев и проблем стало слишком большим.

В описании лота говорится, что «примерно 1 % узлов столкнулись с отказами за последние шесть месяцев», в основном из-за модулей памяти. Кроме того, система испытывает ограничения по техническому обслуживанию из-за неисправных быстроразъёмных соединений, вызывающих протечки воды. Таким образом, «учитывая затраты и время простоя, связанные с устранением проблем», дальнейшее использование комплекса признано нецелесообразным, в связи с чем он пущен с молотка.

Вместе с тем, как отмечает Tom's Hardware, новый владелец суперкомпьютера может реализовать его основные компоненты на вторичном рынке. Например, стоимость чипов Xeon E5-2697 v4 на eBay составляет около $50, а модулей DDR4-2400 ECC ёмкостью 64 Гбайт — примерно $65. То есть, по самым скромным подсчётам, только эти компоненты могут принести новому владельцу суперкомпьютера приблизительно $700 тыс. без учёта затрат на демонтаж и вывоз машины массой 43 т, а также на тестирование компонентов. Впрочем, массовый выброс на рынок CPU и RAM в таких объёмах приведёт к снижению цен.