Портал ServeTheHome рассказал подробности об архитектуре вычислительного кластера xAI Colossus, предназначенного для обучения крупных ИИ-моделей. Эта система использует 100 тыс. NVIDIA H100, а в дальнейшем количество ускорителей планируется увеличить вдвое. Это самый крупный из известных ИИ-кластеров на текущий момент. Оборудование для него поставили компании Dell и Supermicro.

Стартап xAI, курируемый Илоном Маском (Elon Musk), объявил о запуске суперкомпьютера Colossus в начале сентября нынешнего года. Утверждается, что на создание системы потребовалось всего 122 дня. Причём с момента установки первой стойки с серверами до начала обучения ИИ-моделей прошло только 19 суток. Впрочем, как отмечают эксперты, поскольку машина является «однозадачной», т.е. в отличие от традиционных суперкомпьютеров предназначенной только для работы с ИИ, ускорить строительство было не так уж сложно, хотя результат всё равно впечатляющий.

Как сообщается, в составе Colossus применены серверы на платформе NVIDIA HGX H100, оборудованные системой жидкостного охлаждения. Каждый узел Supermicro серии TNHR2-LCC типоразмера 4U содержит восемь ускорителей NVIDIA H100 и два CPU. Узел разделён на две половинки, одна с CPU и PCIe-коммутаторами и одна с HGX-платой, которые могут извлекаться независимо для простоты обслуживания. CPU, коммутаторы и ускорители охлаждаются посредством СЖО.

Источник изображения: Supermicro

Вентиляторы в шасси тоже есть. Воздух от них попадает на теплообменники на задней двери, которые уносят остаточное тепло. Холодных и горячих коридоров в ЦОД нет, воздух имеет одинаковую температуру во всём зале. В нижней части стоек располагается ещё один 4U-блок Supermicro для CDU с резервированием и поддержкой горячей заменой насосов. Каждый сервер имеет четыре блока питания с резервированием и возможностью горячей замены, которые подключены к трёхфазным PDU.

Одна стойка объединяет восемь узлов NVIDIA HGX H100, между которыми располагаются коллекторы СЖО в формате 1U. Таким образом, каждая стойка насчитывает 64 экземпляра H100. Стойки организованы в группы по восемь штук, которые образуют малые кластеры из 512 ускорителей H100. Они в свою очередь объединены в т.н. «острова» по 25 тыс. ускорителей, каждому из которых полагается собственный машинный зал. Общее количество стоек в составе Colossus превышает 1500.

Помимо узлов с ускорителями также есть CPU-узлы и узлы хранения All-Flash (1U). Как отмечает NVIDIA, в кластере Colossus задействована сетевая платформа Spectrum-X Ethernet. Применены коммутаторы Spectrum-X SN5600 и сетевые карты на базе чипа BlueField-3. Компания говорит об использовании трёхуровневой Ethernet-сети с 400GbE-подключением, но точная топология не указана. Судя по всему, выделенной сети для работы с хранилищем не предусмотрено. Каждом ускорителю полагается один 400GbE-адаптер SuperNIC, который и объединяет их в RDMA-сеть. Кроме того, у каждого GPU-узла есть ещё один 400GbE DPU, а также подключение к сервисной сети. Сетевые карты находятся в собственных лотках, благодаря чему их можно заменять без демонтажа шасси. По словам NVIDIA, уровень утилизации сети достигает 95 %.

В качестве энергетического буфера между электросетью и суперкомпьютером используются аккумуляторные банки Tesla Megapack ёмкостью 3,9 МВт·ч каждый. Они необходимы для того, чтобы компенсировать всплески потребляемой мощности, когда нагрузка на ускорители резко возрастает в силу выполняемых ИИ-задач. Впрочем, вероятно, есть и ещё одна причина для такого решения — на первом этапе Colossus был лишён подключения к основной энергосети и в вопросе питания во многом полагался на генераторы.

Компания MSI расширила ассортимент одноплатных компьютеров, анонсировав модель MS-CF16 типоразмера Pico-ITX на аппаратной платформе Intel. Новинка предназначена для создания систем промышленной автоматизации, периферийных устройств, медицинского оборудования и пр.

В зависимости от модификации изделие комплектуется процессором Alder Lake-N или Amston Lake. В частности, доступны варианты с чипом Intel Processor N97 (4C/4T; до 3,6 ГГц; 12 Вт), Atom x7425E (4C/4T; до 3,4 ГГц; 12 Вт) и Atom x7433RE (4С/4Т; до 3,4 ГГц; 9 Вт). Объём оперативной памяти LPDDR5-4800 может достигать 16 Гбайт.

Одноплатный компьютер располагает одним портом SATA-3 для накопителя, разъёмом М.2 E-Key 2230 (PCIe x1 + USB 2.0) для адаптера Wi-Fi и коннектором М.2 B-Key 2242/3042 (PCIe x1/SATA 3.0 + USB 3.2 Gen 2 + USB 2.0). В оснащение входят сетевые контроллеры Realtek RTL8125BG-CG 2.5GbE и Realtek RTL8111K-CG 1GbE, звуковой кодек Realtek ALC897, IO-чип Fintek F81966AB-I и ТРМ-контроллер Infineon SLB 9672VU2.0.

Источник изображения: MSI

Возможен вывод изображения одновременно на два дисплея через интерфейсы LVDS/eDP (1920 × 1200 пикселей, 60 Гц) и HDMI (3840 × 2160 точек, 30 Гц). Есть два порта USB 3.2 Type-A и два гнезда RJ45 для сетевых кабелей. Через разъёмы на плате можно задействовать два порта USB 2.0 и последовательный порт RS-232/422/485.

Новинка оснащена системой пассивного охлаждения с крупным радиатором на тыльной стороне. Диапазон рабочих температур простирается от -10 до +60 °C у версий с процессором Alder Lake-N и от -40 до +70 °C у модели с чипом Amston Lake. Питание (12 В) подаётся через DC-разъём. Габариты составляют 101 × 73 мм. Заявлена совместимость с Windows 10 IoT Enterprise LTSC 2021, Windows 11 IoT Enterprise LTSC 22H2 и Linux.

В ассортименте Banana Pi появился одноплатный компьютер BPI-M1S, подходящий для построения различных терминалов, встраиваемых систем и пр. Изделие выполнено на аппаратной платформе Rockchip и совместимо с Debian11, а также с Android 13.

Применён процессор RK3528. Этот чип содержит четыре ядра Arm Cortex-A53 с частотой до 2 ГГц и графический ускоритель Arm Mali-G450 GPU с поддержкой OpenGL ES1.1, ES2.0, OpenVG 1.1. Встроенный блок VPU обеспечивает возможность декодирования видеоматериалов H.264, H.265 и AVS2 в формате 4Kp60, а также кодирования H.264 и H.265 в формате 1080p60. Для вывода изображения служит интерфейс HDMI 2.0b.

Источник изображения: CNX Software

Одноплатный компьютер несёт на борту 4 Гбайт оперативной памяти LPDDR4x и флеш-модуль eMMC вместимостью 32 Гбайт. Дополнительно можно установить карту microSD. Изделие располагает сетевыми портами 1GbE и 2.5GbE с разъёмами RJ45 для подключения кабелей. На базе контроллера Realtek RTL8852BS реализована поддержка Wi-Fi 6 (802.11a/b/g/n/ac/ax) и Bluetooth 5.2.

Новинка получила два порта USB 2.0 Type-A, один порт USB 2.0 OTG Type-C и дополнительный разъём USB Type-C для подачи питания (режимы 9 В/2 A, 12 В/2 A, 15 В/2 A). Есть 40-контактная колодка GPIO, совместимая с Raspberry Pi (UART, SPI, I2C, I2S, PWM, GND и пр.). При необходимости может быть подключён вентилятор охлаждения. Габариты Banana Pi BPI-M1S составляют 92 × 62 мм. Эксплуатироваться устройство может при температурах от 0 до +80 °C. Приобрести одноплатный компьютер можно по ориентировочной цене $53.

Компания Raspberry Pi представила под собственным брендом первые SSD и наборы SSD Kit для одноплатного компьютера Raspberry Pi 5. Дебютировали накопители в форм-факторе M.2 2230 вместимостью 256 и 512 Гбайт.

На сайте Raspberry Pi говорится, что SSD используют интерфейс PCIe 3.0 (NVMe 1.4). Однако в описании самого мини-компьютера Raspberry Pi 5 упомянута только поддержка PCIe 2.0 x1 (для подключения периферии). Ресурс Tom's Hardware отмечает, что совместимость с PCIe 3.0 можно задать в настройках raspi-config, что позволит повысить скорость передачи данных.

Для установки накопителей на Raspberry Pi 5 требуется модуль Raspberry Pi M.2 HAT+ (Hardware Attached on Top) с коннектором M.2: эта вспомогательная плата изначально включена в комплекты SSD Kit. В набор также входят соединительный шлейф и необходимый крепёж.

В характеристиках SSD указан показатель IOPS (операций ввода-вывода в секунду) при работе с блоками данных по 4 Кбайт. У младшей версии он достигает 40 тыс. при произвольном чтении и 70 тыс. при произвольной записи, у старшей — 50 тыс. и 90 тыс. соответственно. Диапазон рабочих температур — от 0 до +70 °C.

Источник изображений: Raspberry Pi

Стоимость накопителя на 256 Гбайт составляет $30, на 512 Гбайт — $45. Комплекты с модулем Raspberry Pi M.2 HAT+ обойдутся в $40 и $55. Приём заказов уже начался. Производиться новинки будут минимум до января 2032 года.

Также компания представила обновлённый вариант ИИ-модуля для инференса — Raspberry Pi AI HAT+. От представленного ранее AI Kit новинка отличается тем, что теперь чип ускорителя интегрирован непосредственно на плату, а не подключается через M.2-коннектор. На выбор по-прежнему доступны чипы Hailo-8 (26 TOPS) и Hailo-8L (13 TOPS). Стоят модули с ними $110 и $70 соответственно. Диапазон рабочих температур — от 0 до +50 °C. Выпускаться модули будут минимум до января 2030 года.

Компания Ubiquiti анонсировала сетевое хранилище UniFi UNAS Pro (UniFi UNAS Professional Rackmount NAS), ориентированное на корпоративных заказчиков. Устройство выполнено в форм-факторе 2U.

В новинке применён неназванный процессор с четырьмя вычислительными ядрами Arm Cortex-A57, функционирующими на тактовой частоте 1,7 ГГц. Объём оперативной памяти DDR4 составляет 8 Гбайт. В оснащение также входят 32 Мбайт памяти SPI NOR и 8 Гбайт флеш-памяти.

Во фронтальной части предусмотрены семь отсеков для HDD/SSD в форм-факторе LFF/SFF с интерфейсом SATA-3; допускается горячая замена. Имеется сенсорный дисплей с диагональю 1,3", который служит для управления и отображения информации о работе NAS. Предусмотрены по одному сетевому порту 1GbE RJ45 и 10GbE SFP+: разъёмы для подключения кабелей выведены на лицевую панель. Кроме того, есть контроллер Bluetooth 4.1.

Источник изображения: Ubiquiti

Габариты UniFi UNAS Pro составляют 442 × 325 × 87 мм, вес — 9,2 кг (без крепления для монтажа в стойку и накопителей). Диапазон рабочих температур простирается от -5 до +40 °C. В тыльной части расположены два вентилятора охлаждения. Максимальное энергопотребление заявлено на уровне 160 Вт, а энергобюджет для накопителей — 135 Вт. Устройство имеет встроенный блок питания (100–240 В AC или 11,5 В DC). Имеется порт резервного питания с поддержкой UniFi Power Backup, что делает хранилище устойчивым к перебоям в энергоснабжении. Приобрести новинку можно по ориентировочной цене $500.

Компания MSI анонсировала одноплатный компьютер MS-CF17, предназначенный для широкого спектра промышленных приложений. На его основе могут создаваться системы автоматизации, edge-решения, платформы для транспортной отрасли, устройства визуализации и пр.

Новинка выполнена в 3,5″ форм-факторе с габаритами 146 × 102 мм. Доступны встраиваемая и индустриальная модификации. В первом случае диапазон рабочих температур простирается от 0 до +60 °C, во втором — от -40 до +70 °C.

Аппаратной основой служит платформа Intel Raptor Lake-P. Предлагаются варианты с различными процессорами, включая Core i7-1365UE (2P + 8E; 12 потоков; до 4,9 ГГц). Применена система пассивного охлаждения. В зависимости от модификации задействован графический ускоритель Intel Iris Xe или Intel UHD Graphics. Имеется один слот SO-DIMM для модуля LPDDR5-5200 ёмкостью до 32 Гбайт. Накопители могут быть подключены к порту SATA-3 и коннектору M.2 M-Key 2280 (для NVMe SSD с интерфейсом PCIe 4.0 x4).

Источник изображения: MSI

В оснащение входят четырёхпортовый 2.5GbE-контроллер Intel I226-LM, звуковой кодек Realtek ALC897 HD, IO-чип Fintek F81966AB-I и ТРМ-контроллер Infineon SLB9672VU2.0. Упомянуты также коннектор M.2 B-key 2242/3042 (PCIe x1, USB 2.0, слот для карты nanoSIM) для сотового модема и разъём M.2 E-key 2230 (PCIe x1, USB 2.0) для адаптера Wi-Fi/Bluetooth.

Компьютер располагает четырьмя портами USB 3.2 Gen2, четырьмя коннекторами HDMI 2.0 (до 4Kp60), интерфейсом eDP/LVDS. Через разъёмы на плате можно задействовать четыре последовательных порта и четыре порта USB 2.0. Питание в диапазоне 12–24 В подаётся через DC-разъём. Заявлена совместимость с Windows 10 IoT Enterprise 2021 LTSC, Windows 11 IoT Enterprise и Linux.

Компания Crusoe Energy открывает совместное предприятие с Blue Owl Capital и Primary Digital Infrastructure для реализации проекта по строительству ЦОД в Техасе. По данным Silicon Angle, на эти цели будет потрачено $3,4 млрд, специализированный дата-центр должен появиться в кампусе Lancium Clean Campus.

Будущий ЦОД Crusoe AI, уже сданный в аренду целиком некому гиперскейлеру из списка Fortune 500, будет кампусом из двух объектов, построенных по индивидуальному проекту. По имеющимся данным, он рассчитан на ёмкость 205 МВт. Конструкция ЦОД оптимизирована для использования систем с прямым жидкостным охлаждением, но будет поддерживаться и воздушное охлаждение. Готовый ЦОД сможет вместить до 100 тыс. ускорителей в составе одной сетевой фабрики. Предполагается, что энергоснабжение кампуса будет обеспечено внутренними и внешними источниками энергии. Освоение мощностей начнётся в I половине 2025 года.

Ранее появилась информация, что ключевым арендатором станет компания Oracle, а конечным потребителем вычислительных мощностей — OpenAI. При этом Microsoft, вероятно, станет посредником, сохраняя свой статус поставщика облачных услуг для OpenAI. В руководстве Crusoe подчёркивает, что растущий спрос на ЦОД обусловлен большими перспективами ИИ. Lancium, с которой Crusoe уже сотрудничала, в 2021 году получила одобрение на строительство техасского кампуса ЦОД Project Artemis. Тогда речь шла о кампусе на участке 160–320 га ёмкостью от 200 МВт с возможностью масштабирования до 1 ГВт.

Blue Owl Capital управляет активами на $192 млрд. Хотя ранее компания не инвестировала в ЦОД, в последние месяцы она вложила средства в проекты нескольких дата-центров, а недавно создала СП на $5 млрдс Chirisa и PowerHouse для строительства сети ЦОД на территории США, в первую очередь для ИИ-облака CoreWeave. Blue Owl также приобрела владельца Stack и RadiusDC — компанию IPI Partners за $1 млрд.

Руководство Primary Digital Infrastructure говорит об инвестиционном буме — только в США в ближайшие четыре-пять лет на ЦОД будет потрачено около $1 трлн. Текущая цель компании — приобретение наиболее стабильных активов на этом рынке, а также инвестиции в строительство собственных облачных и ИИ-объектов.

Crusoe Energy, основанная в 2018 году, начинала с доставки контейнерных ЦОД к нефтяным скважинам в США, запитанных от попутного газа. Если изначально Crusoe использовала свои ресурсы для майнинга, то позже появилось предложение Crusoe Cloud для ИИ- и HPC-нагрузок. В конце прошлого года компания занялась стационарными проектами. Компания разместила ускорители в ЦОД ICE02 оператора atNorth в Исландии и объявила о сотрудничестве с Digital Realty.

Компания MSI анонсировала серверы и материнские платы с поддержкой новейших процессоров AMD EPYC Turin. Вышли системы разного уровня, включая решения для ИИ-задач, машинного обучения и HPC. Также получили поддержку Turin и некоторые модели систем, изначально рассчитанных на установку AMD EPYC Genoa

В частности, представлена двухсокетная модель S2301 2U CXL Memory Expansion Server с поддержкой технологии CXL 2.0. Она оснащена восемью разъёмами E3.S 2T для CXL-модулей и восемью слотами E3.S 1T NVMe. Машина предназначена для приложений с интенсивным использованием данных, таких как НРС-нагрузки и резидентные базы данных.

Вышли несколько вычислительных серверов. Так, двухузловая модель CD370-S4051-X2 формата 3U оснащена 12 отсеками PCIe 5.0 x4 U.2 NVMe в расчёте на узел, а двухузловая версия CD270-S4051-X2 стандарта 2U предлагает по шесть таких отсеков на узел. В свою очередь, четырёхузловой вариант CD270-S4051-X4 типоразмера 2U имеет по три отсека PCIe 5.0 x4 U.2 NVMe на узел, а в качестве опции доступно жидкостное охлаждение.

Источник изображения: MSI

Односокетный сервер корпоративного уровня CX271-S4056 формата 2U предлагает 24 слота для модулей оперативной памяти DDR5-5200. Эта система доступна в вариантах с 8 и 24 отсеками для накопителей PCIe 5.0 x4 U.2 NVMe. Кроме того, упомянуты слоты PCIe 5.0 x16 OCP для сетевых адаптеров. Машина подходит для ИИ, виртуализации и облачных приложений в современных ЦОД.

На ресурсоёмкие ИИ-задачи ориентированы односокетные GPU-серверы G4101-01 и G4101-03 с жидкостным охлаждением. Они оснащены 12 слотами DDR5 DIMM и четырьмя слотами PCIe 5.0 тройной ширины с возможностью установки ускорителей, TDP которых достигает 450 Вт. Могут быть задействовать до 12 накопителей PCIe 4.0 U.2 NVMe. Применены блоки питания мощностью 3000 Вт с сертификатом Platinum или Titanium.

Установку процессоров EPYC 9005 также поддерживают корпоративные серверы S2206-05-10G, S2206-06-10G и S1206-02-10G с портами 10G SFP+, материнские платы D4056 DC-MHS M-DNO Type-4 HPM и D4051 DC-MHS M-DNO Type-2 HPM.

Компания Qualcomm объявила о выпуске новой беспроводной сетевой платформы Pro A7 Elite класса «всё-в-одном» с поддержкой беспроводного стандарта Wi-Fi 7 (802.11be) и XGS-PON. Платформа предназначена для размещения на периферии и оснащена широким спектром самых современных сетевых возможностей, дополненных ИИ-функциями.

Источник изображений: Qualcomm

Сердцем новинки является четырёхъядерный процессор, тип и модель которого Qualcomm не разглашает, известно лишь, что в основе лежит 14-нм техпроцесс, а ядра работают на частоте 1,8 ГГц. Процессор работает в паре с памятью DDR3L/DDR4, в качестве накопителя возможно использование флеш-памяти NOR, NAND или eMMC.

Зато часть, ответственная за ИИ, хорошо известна — это один из вариантов Qualcomm Hexagon NPU с заявленной производительностью 40 Топс (INT8). Его целью является улучшение работы Wi-Fi, в том числе реализация функций умного классификатора трафика, интеллектуальное управление усилением беспроводного сигнала, детектирование ошибок и др.

Платформа может похвастаться развитой сетевой подсистемой: во-первых, в ней реализована поддержка подключений XGS-PON, допускающая работу в качестве шлюза/терминала HGS/ONT или SFU/SFU+ ONU. При этом поддерживается скорость 10 Гбит/с как в восходящем, так и в нисходящем потоках. Проводная Ethernet-часть представлена двумя портами 2.5GbE и одним 10GbE (USXGMII/SGMII+).

Wi-Fi-часть Pro A7 Elite предлагает пиковую агрегированную канальную скорость до 33 Гбит/с. Есть поддержка Wi-Fi 7 (802.11be) и Wi-Fi 6/6E (802.11ax), а также совместимость с Wi-Fi 5/4. Радиочасть может обслуживать четыре диапазона одновременно (6/5/2,4 ГГц) и 16 пространственных потоков. Максимальная ширина канала составляет 320 МГц. Для улучшения качества и скорости подключений реализованы технологии Qualcomm Automatic Frequency Coordination (AFC) Service, Simultaneous & Alternating Multi Link и Adaptive Interference Puncturing. Поддерживается WPA3 Personal/Enterprise/Easy Connect.

Опционально доступна поддержка 4G/5G FWA, 802.15.4 (Zigbee/Thread) и Bluetooth, реализуемая посредством отдельных модулей. Дополнительно предусмотрено четыре порта PCIe 3.0, порты USB 2.0/3.0, а также интерфейсы I²C, I²S, PTA Coex, SPI и UART. SoC совместима с популярным открытым ПО: OpenWRT, RDK, TiP OpenWiFi, prplOS и OpenSync. Qualcomm уже поставляет образцы Pro A7 Elite.

У Microsoft, как оказалось, не хватает мощностей ЦОД для обеспечения всех потребностей OpenAI. По данным The Information, в ИИ-компании намерены агрессивно масштабировать свои вычислительные способности.

По словам журналистов, после того как OpenAI привлекла в октябре $6,6 млрд инвестиций, финансовый директор Сара Фрайар (Sarah Friar) выступила перед сотрудниками, заявив, что компания будет активнее искать дата-центры и ИИ-чипы. Ранее она же сообщала акционерам, что Microsoft слишком медлительна для работы с ИИ-стартапом. Например, компания xAI Илона Маска (Elon Musk) в кратчайшие сроки запустила крупный ИИ ЦОД в Мемфисе, когда в этом возникла необходимость.

OpenAI постепенно отдаляется от Microsoft, которая остаётся ключевым владельцем доли в компании. В июне была анонсирована сделка с Oracle по аренде серверов в дата-центре, пока что строящемся в Абилине (Техас). Хотя Microisoft упомянута в пресс-релизе, IT-гигант не слишком вовлечён в проект. Вместо этого он фактически будет арендовать серверы и предоставлять их OpenAI. Это позволяет говорить, что компания всё ещё является эксклюзивным облачным провайдером последней.

Источник изображения: Mariia Shalabaieva/unsplash.com

Теперь OpenAI ведёт переговоры об аренде этого дата-центра целиком, к середине 2026 года его ёмкость составит почти 1 ГВт. Если Oracle удастся получить больше энергии, площадка вырастет до 2 ГВт. Дополнительно OpenAI может заняться своим давно обещанным дата-центром Stargate на 5 ГВт, но уже без Microsoft — если ИИ-компания сможет найти финансирование для ЦОД стоимостью более $100 млрд и снабдить его энергией.

По словам главы OpenAI Сэма Альтмана, выступившего на этой неделе перед сотрудниками, затраты теоретически можно снизить, используя чипы, разрабатываемые самой OpenAI, но пока непонятно, на какой стадии реализации находится этот проект. Ранее сообщалось, что Альтман пытается убедить власти США в необходимости строительства в стране сети 5-ГВт ЦОД.