Компания Selectel анонсировала собственную аппаратную платформу, не без оснований претендующую на звание «самого современного российского сервера». Ранее компания собирала серверы из отдельных компонентов других поставщиков, что снижало затраты и степень зависимости от определённого поставщика, но наличие собственной платформы, производимой на контрактных мощностях, должно ещё больше снизить капиталовложения и при этом обеспечить более высокую надежность благодаря контролю за производством.

Основой новой платформы является системная плата собственной разработки Selectel, рассчитанная на установку процессоров Xeon 6 (Granite Rapids и Sierra Forest) последнего поколения, а также фирменное шасси, оснащённое двумя блоками питания. При этом в планах Selectel замена прошивок BIOS/UEFI на собственные аналоги, способные обеспечивать нормальную работу сервера и поддержку всех компонентов, а также предоставлять клиентам расширенную функциональность. Впрочем, Selectel продолжит использовать и серверы с системными платами других производителей.

Источник изображений: Selectel

В случае собственных серверов Selectel пока речь идёт только о «малом» разъёме Intel LGA 4710, предназначенном для процессоров серий Xeon 6700E (Sierra Forest, до 144 ядер, доступны уже сейчас) и будущих же «малых» вариантов Granite Rapids — Xeon 6700P (до 86 ядер, появятся в I квартале 2025 года). Обе серии характеризуются использованием восьмиканального контроллера памяти DDR5-6400 и теплопакетом до 350 Вт включительно. Для охлаждения использованы мощные вентиляторы со скоростью вращения 16 тыс. об./мин. (шесть или восемь шт.).

Новая платформа Selectel имеет двухпроцессорную конфигурацию с 16 разъёмами DIMM на каждый процессор, что позволяет суммарно устанавливать в сервер до 8 Тбайт оперативной памяти. Сервер существует в двух конфигурациях, SSE-I112-G6 (1U) и SSE-I224-G6 (2U). В обоих случаях конфигурацию дополняет сетевой адаптер OCP 3.0 x16. За питание отвечает пара БП CRPS мощностью 1 кВт каждый класса 80+ Platinum с 90-% эффективностью во всем диапазоне нагрузок и возможностью горячей замены.

1U-вариант поддерживает установку 12 SFF NVMe SSD с горячей заменой и двух накопителей M.2 (x2), дополненных двумя ускорителями формата FHHL или тремя — HHHL. 2U-вариант включает до 26 SFF-накопителй — 10 × NVMe + 16 × SAS/SATA — и пару M.2 (x2). При этом ускорителей формата FHHL может быть уже шесть, благо общее количество линий PCIe 5.0 в системе составляет 176 (по 88 на процессор). Удалённое управление сервером осуществляется с помощью BMC с фирменной прошивкой, включающей в себя возможности управления профилями питания и поддержку открытого API Redfish.

Новые серверы могут быть арендованы заказчиком в одном из ЦОД компании. Стандартная конфигурация развёртывается в течение 7 мин. с 1/10GbE-подключением и 1-Гбит/с интернет-каналом. но доступны также и произвольные конфигурации с GPU, аппаратными RAID-контроллерами, возможностью апгрейда и сетевым подключением на скоростях до 400 Гбит/с. Также имеется возможность заказа новых серверов Selectel для использования на собственной площадке (on-premise) с арендной моделью оплаты.

Стартап TensorWave из Лас-Вегаса провёл раунд финансирования на условиях SAFE (simple agreements for future equity), в результате которого привлёк $43 млн, сообщили ресурсы DataCenter Dynamics и The Register. Условия SAFE означают, что инвесторы имеют право при определённых обстоятельствах конвертировать свои инвестиции в акции компании, но не смогут потребовать возврат денег. Финансовый раунд возглавил вице-президент Nexus, также в нём приняли участие Maverick Capital, Translink Capital, Javelin Venture Partners, Granite Partners и AMD Ventures.

Полученные средства TensorWave планирует использовать для оснащения своего основного ЦОД ускорителями AMD Instinct MI300X, на расширение команды, а также на подготовку к внедрению следующего поколения ускорителей Instinct MI325X и запуска новой корпоративной инференс-платформы Manifest в IV квартале 2024 года. По словам компании, Manifest, разработанная для поддержки более крупных контекстных окон ИИ-моделей с уменьшенной задержкой, помимо быстрого инференса позволяет анализировать сложные документы и безопасно обрабатывать и хранить конфиденциальные данные.

Источник изображения: TensorWave

Основанный в прошлом году стартап TensorWave, в отличие от большинства участников рынка ИИ, использующих ускорители NVIDIA, делает ставку на ускорители AMD Instinct. Разворачивать системы на базе MI300X стартап начал этой весной. Ускоритель MI300X также получил достаточно широкое распространение среди ряда облачных провайдеров. В частности, его использует Microsoft для обслуживания ИИ-модели OpenAI GPT-4 Turbo и многих сервисов Copilot. Oracle готова развернуть кластер из 16 384 MI300X. Также облачный стартап Vultr начал предлагать инстансы на базе MI300X.

MI300X имеет больше памяти, чему у того же NVIDIA H100 — 192 Гбайт против 80 Гбайт. С выпуском ускорителей следующего поколения MI325X в конце этого года AMD ещё больше увеличит преимущество, поскольку ёмкость HBM3e-памяти ускорителя вырастет до 288 Гбайт. Это втрое больше, чем у H100, и наполовину больше, чем у будущих ускорителей NVIDIA Blackwell, говорит компания.

Больший объём памяти особенно ценен для тех, кто запускает крупные ИИ-модели в FP16-формате. При 1536 Гбайт на узел система на базе MI300X может легко вместить модель Llama 3.1 405B от Meta✴, тогда как при использовании ускорителей H100 для этого её придётся разделить между несколькими системами или ужать с помощью 8-бит квантования. Можно также «втиснуть» несжатую модель в один узел с ускорителями NVIDIA H200, но тогда не останется достаточно места для большего контекстного окна, поддерживаемого моделью.

Компания Blue Owl, занимающаяся управлением бизнес-активами, намерена приобрести инвестиционную группу IPI Partners. По данным Reuters, стоимость сделки составит около $1 млрд: 80 % будет отдано ценными бумагами, оставшиеся 20 % — валютой. Компания видит большой инвестиционный потенциал в сфере ЦОД, связанный с ростом спроса на облачные и ИИ-технологии.

По данным СМИ, информация о возможной покупке появилась в начале октября. IPI Partners представляет собой совместное предприятие, принадлежащее управляющей инвестициями компанией Iconiq Capital (занята инвестициями в интересах частных лиц и семейного бизнеса) и частной инвестиционной компанией Iron Point Partners (работает в интересах непубличных компаний).

Источник изображения: Afif Ramdhasuma/unsplash.com

Для Blue Owl это «пробный шар» в сфере цифровых инфраструктур, сделка позволит получить под управление активы на сумму около $10,5 млрд. В портфолио IPI Partners входят 82 дата-центра по всему суммарной ёмкостью 2,2 ГВт. Инвестиционная компания владеет бизнесом Stack Infrastructure, сформированным в 2019 году в результате слияния оператора ЦОД T5 и трёх объектов Informat. Также в 2022 году была создана дочерняя компания Radius DC, ответственная за edge-проекты.

В распоряжении Blue Owl находятся активы приблизительно на сумму $192 млрд. Недавно компания создала совместное предприятие с Chirisa и PowerHouse для строительства ЦОД на территории США, в основном для ИИ-облака CoreWeave. Покупка IPI Partners стала уже четвёртым приобретением Blue Owl в этом году. Ранее компания приобрела Kuvare Asset Management, Prima Capital Advisors и Atalaya Capital Management.

Американская криптомайнинговая компания MARA (Marathon Digital Holdings) объединила усилия с компанией NGON. По данным Datacenter Dynamics, партнёры запустили микро-ЦОД на 25 МВт с питанием от попутного (факельного) газа с нефтяных скважин в Техасе и Северной Дакоте. Объекты планируется окончательно ввести в эксплуатацию к январю 2025 года.

ЦОД будут питаться только за счёт излишков газа, сопутствующего нефти на месторождениях. В противном случае они были бы просто сожжены. Это поможет местным энергокомпаниям более эффективно снизить выбросы метана. Эффективность утилизации метана при сжигании в факелах составляет 92 %, а в газовых генераторах — до 99 %. Всё это позволит значительно снизить операционные расходы, в то же время повысив экоустойчивость нефтедобычи. Дополнительно появится возможность генерации углеродных кредитов в реестре Verra.

Источник изображения: MARA

MARA располагет 760 МВт майнинговых мощностей. Часть работает на возобновляемых источниках энергии, но в основном электричество поступает из американских магистральных электросетей, на 80 % зависящих от ископаемого топлива. Компания намерена перейти на более экологичные меотды работы. В 2023 году был запущен пилотный проект с переработкой метана со свалок в Юте с установкой по добыче биткоинов на 280 кВт. В Финляндии MARA подключила свой ЦОД к районной системе центрального отопления.

Источник изображения: MARA

Операторы ЦОД, использующие электричество, получаемое в ходе сжигания попутного газа, подчёркивают, что процесс полезен окружающей среде, поскольку применяется «мусорная» энергия, которая тратилась бы впустую. При этом энергетические установки позволяют утилизировать больше метана, являющегося одним из самых опасных парниковых газов. При сгорании метана выделяется CO₂ — тоже парниковый газ, причём значительно более устойчивый. Тем не менее, для окружающей среды он считается намного менее опасным. Аналогичные проекты уже активно реализуются по всему миру. Такие решения есть, например, у Crusoe, CryptoBlox, White Rock и др.

У Microsoft, как оказалось, не хватает мощностей ЦОД для обеспечения всех потребностей OpenAI. По данным The Information, в ИИ-компании намерены агрессивно масштабировать свои вычислительные способности.

По словам журналистов, после того как OpenAI привлекла в октябре $6,6 млрд инвестиций, финансовый директор Сара Фрайар (Sarah Friar) выступила перед сотрудниками, заявив, что компания будет активнее искать дата-центры и ИИ-чипы. Ранее она же сообщала акционерам, что Microsoft слишком медлительна для работы с ИИ-стартапом. Например, компания xAI Илона Маска (Elon Musk) в кратчайшие сроки запустила крупный ИИ ЦОД в Мемфисе, когда в этом возникла необходимость.

OpenAI постепенно отдаляется от Microsoft, которая остаётся ключевым владельцем доли в компании. В июне была анонсирована сделка с Oracle по аренде серверов в дата-центре, пока что строящемся в Абилине (Техас). Хотя Microisoft упомянута в пресс-релизе, IT-гигант не слишком вовлечён в проект. Вместо этого он фактически будет арендовать серверы и предоставлять их OpenAI. Это позволяет говорить, что компания всё ещё является эксклюзивным облачным провайдером последней.

Источник изображения: Mariia Shalabaieva/unsplash.com

Теперь OpenAI ведёт переговоры об аренде этого дата-центра целиком, к середине 2026 года его ёмкость составит почти 1 ГВт. Если Oracle удастся получить больше энергии, площадка вырастет до 2 ГВт. Дополнительно OpenAI может заняться своим давно обещанным дата-центром Stargate на 5 ГВт, но уже без Microsoft — если ИИ-компания сможет найти финансирование для ЦОД стоимостью более $100 млрд и снабдить его энергией.

По словам главы OpenAI Сэма Альтмана, выступившего на этой неделе перед сотрудниками, затраты теоретически можно снизить, используя чипы, разрабатываемые самой OpenAI, но пока непонятно, на какой стадии реализации находится этот проект. Ранее сообщалось, что Альтман пытается убедить власти США в необходимости строительства в стране сети 5-ГВт ЦОД.

Комитет по архитектуре и градостроительству Москвы (Москомархитектура), входящий в Комплекс градостроительной политики и строительства столицы, сообщил о проекте нового дата-центра, который расположится в районе Царицыно на юге столицы.

Характеристики будущего ЦОД пока не раскрываются. Известно лишь, что речь идёт об объекте общей площадью примерно 35 тыс. м², который будет построен на земельном участке в 1,4 га. С целью реализации проекта внесены изменения в правила землепользования и застройки по адресу: Деловая улица, земельный участок 9.

Источник изображения: Гознак

Подчёркивается, что проект предусматривает создание всей необходимой инфраструктуры, которая обеспечит высокую производительность и надёжность при работе с большими объёмами данных. По имеющейся информации, речь идёт о строительстве нового дата-центра для Гознака. В настоящее время эта организация эксплуатирует московский ЦОД, имеющий сертификацию Tier III. Мощность объекта площадью 2420 м² составляет 5,2 МВт. Предусмотрены 11 изолированных машинных залов суммарной ёмкостью 370 стойко-мест. Развёрнуты три периметра безопасности: круглосуточная военизированная охрана, система контроля и управления доступом, видеонаблюдение и сигнализация.

Нужно отметить, что в Москве ведётся активное развитие инфраструктуры дата-центров. Ранее мэр столицы Сергей Собянин сообщил, что в Косино-Ухтомском районе построят комплекс из двух дата-центров общей мощностью 100 МВт. В начале 2024 года было завершено строительство одного из крупнейших в России дата-центров «Москва-2»: общая подведённая мощность составляет 36 МВт. В подмосковной Дубне ведётся создание ЦОД мощностью 8 МВт по проекту компании WildTeam. Кроме того, крупный дата-центр в Подмосковье построит компания Wildberries.

Компания GigaIPC, подразделение Gigabyte, анонсировала индустриальный компьютер небольшого форм-фактора QBiX-ADNAN97-A1, рассчитанный на решение таких задач, как промышленная автоматизация, edge-вычисления и пр. В основу положена аппаратная платформа Intel Alder Lake-N.

Устройство несёт на борту чип Intel Processor N97 (4C/4T; до 3,6 ГГц; 12 Вт). Предусмотрен один слот SO-DIMM для модуля оперативной памяти DDR5-4800 ёмкостью до 16 Гбайт. Применено пассивное охлаждение, а ребристая поверхность корпуса выполняет функции радиатора для отвода тепла.

Новинка располагает коннектором M.2 2280 M-Key для SSD с интерфейсом PCIe 3.0 х1 или SATA-3. Кроме того, есть разъём M.2 2230 E-Key для комбинированного адаптера Wi-Fi/Bluetooth. В оснащение входят звуковой кодек Realtek ALC269 и двухпортовый сетевой контроллер 1GbE на основе Realtek RTL8111H. Возможна установка опционального модуля TPM 2.0 (NUVOTON NPCT760AABYX).

Источник изображения: GigaIPC

Мини-компьютер имеет размеры 118 × 109,4 × 44,4 мм. На фронтальную панель выведены два порта USB 3.2 Gen2, последовательный порт (RS-232) и комбинированное аудиогнездо на 3,5 мм. Сзади находятся два разъёма HDMI 2.0 с возможностью вывода изображения с разрешением 4096 × 2160 пикселей и частотой 60 Гц, два порта USB 3.2 Gen2, два гнезда RJ-45 для сетевых кабелей, отверстия для подсоединения антенн Wi-Fi. Питание подаётся через адаптер (19 В / 65 Вт). Диапазон рабочих температур — от 0 до +50 °C. Говорится о совместимости с Windows 10 и Windows 11. Ориентировочная цена GigaIPC QBiX-ADNAN97-A1 составляет $350.

Производитель ИИ-суперчипов Cerebras Systems, вероятнее всего, вынужден будет отложить IPO из-за задержки, связанной с проверкой иностранных инвестиций в компанию. По данным Reuters, миноритарным инвестором выступил конгломерат G42 (Core42) из ОАЭ, что и привлекло внимание регуляторов. Как сообщают источники издания, Cerebras, являющаяся молодым и перспективными конкурентом NVIDIA, наверное, отменит презентацию, запланированную на начало следующей недели и предваряющую IPO. Ведущими андеррайтерами запланированного IPO в Cerebras выбрали Citigroup и Barclays.

Инвестиции G42 в Cerebras рассматривает Комитет по иностранным инвестициям в США (Committee on Foreign Investment in the United States, CFIUS). Он оценивает наличие угроз национальной безопасности в иностранных капиталовложениях в американский бизнес. В Cerebras ожидают, что CFIUS даст инвестициям G42 зелёный свет ещё до конца 2024 года. Производитель ускорителей будет стремиться выйти на IPO сразу после получения необходимых разрешений от регулятора, но планы компании могут измениться. В Министерстве финансов США комментировать IPO отказались, но сообщили, что регулятор примет все меры для защиты национальной безопасности США в пределах своей компетенции.

Проблема в том, что G42, являющаяся инвестором и крупнейшим клиентом Cerebras, уже привлекала внимание сторонников суровых мер в отношении Китая. Считается, что компании с Ближнего Востока могут использоваться КНР для обхода американских санкций, ограничивающих экспорт полупроводников в Поднебесную. Кроме того, G42 ранее уличили в ведении дел с Пекином.

Источник изображения: Cerebras

По имеющимся данным на закупки G42 приходится $65,1 млн или 83 % от всей выручки Cerebras за 2023 календарный год. В I полугодии 2024 года компания зарегистрировала $136,4 млн, тогда как в прошлом году за аналогичный период выручка составила $8,7 млн. Иными словами, G42 является ключевым покупателем продуктов компании. Кроме того, к апрелю G42 обязалась выкупить акции Cerbras на $335 млн, доведя долю до более чем 5 %. Сначала Cerebras и G42 подали в CFIUS заявку о продаже акций, но позже скорректировали её объявив, что продаваемые акции не голосующие, поэтому их проверка регулятором не нужна. В сентябре было подано заявление на отзыв уведомления.

Сегодня калифорнийская Cerebras, оценивавшаяся приблизительно в $4 млрд в 2021 году, строит серию ИИ-суперкомпьютеров в интересах G42, в том числе в США. Разработанная Cerebras технология уже использовалась для обучения большой языковой модели (LLM) для арабского языка. Разработанные Cerebras ускорители конкурируют с решениями NVIDIA. По мнению экспертов, ИИ-чипы огромного размера, предлагаемые стартапом, имеются ряд преимуществ в сравнении с ускорителями NVIDIA и другими решениями. Примечательно, что инвестиции Microsoft в G42 были одобрены после того, как последняя, по слухам, заключила тайное соглашение с администрацией США, которое как раз оговаривало взаимодействие с Китаем.

Как правило, флагманские GPU-серверы сегодня используют модули ускорителей, выполненные либо в форм-факторе SXM (NVIDIA), либо OAM (все остальные). Такая компоновка помогает бороться с огромным тепловыделением, но в силу конструкции самих модулей не обеспечивает максимальной вычислительной плотности, поэтому каждый такой сервер вмещает не более восьми ускорителей. Компания Supermicro выбрала другой путь и анонсировала 3U-платформу SYS-322GB-NR, способную вместить до 18 ускорителей.

Источник изображений: Supermicro

Разработчикам SYS-322GB-NR удалось довести количество полноразмерных двухслотовых ускорителей в одном шасси до 10, а при использовании плат одинарной толщины — до 18. Этого достаточно для обработки серьёзных LLM-нагрузок, систем визуализации, VDI-платформ и т.д.

Компания не говорит о том, какие именно ускорители поддерживаются новинкой, упоминая только имена NVIDIA и AMD. В случае с NVIDIA, вероятно, речь идёт о картах L4, которые являются универсальными ускорителями с неплохой производительностью — 242 Тфлопс в формате FP16, 485 Топс в режиме INT8. Таким образом, 18 ускорителей способны в пределе обеспечить 4,35 Пфлопс или свыше 8,7 Петаопс. Помимо этого, L4 может обрабатывать 130 видеопотоков в формате AV1 с разрешением 720p30 и имеет 24 Гбайт видеопамяти с пропускной способностью 300 Гбайт/с.

Не вполне ясно, как в новинке организована коммутация PCI Express. Несмотря на использование двух процессоров Intel Xeon Granite Rapids (6900), их совокупные 192 линии PCIe 5.0 явно недостаточны для организации 20 слотов x16, а ведь ещё и накопители надо подключить. Возможно, система переводит слоты в режим x8, но, скорее всего, используются современные чипы-коммутаторы PCIe 5.0, например, XConn Apollo.

Система поддерживает установку до 6 Тбайт RAM, в том числе модулей MRDIMM DDR5-8800. Дисковая подсистема может вмещать 14 NVMe-накопителей в формате E1.S или шесть U.2 SSD. С учётом энергопотребления современных двухслотовых GPU, система питания должна способна обеспечивать мощность в районе 5,5 КВт.

Компании Foxconn и NVIDIA объединили усилия для постройки крупнейшего на Тайване суперкомпьютера. По данным пресс-службы NVIDIA, проект Hon Hai Kaohsiung Super Computing Center был представлен в ходе традиционного мероприятия Foxconn — Hon Hai Tech Day, прошедшего в минувший вторник. Вычислительные мощности будут построены на основе передовой архитектуры NVIDIA Blackwell — будет использована платформа GB200 NVL72, включающая 64 стойки.

С ожидаемой производительностью ИИ-вычислений более 90 Эфлопс (FP4), машина может легко считаться самой быстрой на Тайване. Foxconn намерена использовать суперкомпьютер для исследований в области медицины, разработки больших языковых моделей (LLM) и инноваций в системах умного города. Это может сделать Тайвань одним из лидеров ИИ-индустрии.

В рамках стратегии «трёх платформ» Foxconn уделяет внимание умному производству, умным городам и электрическому транспорту. Новый суперкомпьютер призван сыграть ключевую роль в поддержке инициатив компании по созданию «цифровых двойников», автоматизации робототехники и созданию умной городской инфраструктуры.

Источник изображения: NVIDIA

Строительство уже началось в тайваньском муниципалитете Гаосюн, первая фаза должна заработать к середине 2025 года. Полностью работоспособным компьютер станет в 2026 году. Проект будет активно использовать технологии NVIDIA вроде робоплатформ NVIDIA Omniverse и Isaac для ИИ и «цифровых двойников».

В Foxconn утверждают, что суперкомпьютер будет не только крупнейшим на Тайване, но и одним из самых производительных в мире. Каждая стойка GB200 NVL72 включает 36 CPU Grace и 72 ускорителя Blackwell, объединённых интерконнектом NVIDIA NVLink (суммарно 130 Тбайт/с). Технология NVIDIA NVLink Switch позволит системе из 72 ускорителей функционировать как единый вычислительный модуль — оптимальный вариант для обучения ИИ-моделей и инференса в режиме реального времени, с моделями на триллион параметров. Предполагается использование решений NVIDIA DGX Cloud Infrastructure и Spectrum-X для поддержки масштабируемого обучения ИИ-моделей.

Тайваньская Foxconn (официально Hon Hai Precision Industry Co.) — крупнейший в мире производитель электроники, известный выпуском самых разных устройств, от смартфонов до серверов для популярных во всём мире заказчиков. Компания уже имеет производства по всему миру и является ключевым игроком в мировой технологической инфраструктуре. При этом производитель считается одним из лидеров в организации «умного» производства, внедряющим промышленные ИИ-системы и занимающимся цифровизацией заводов с помощью NVIDIA Omniverse Cloud. Кроме того, именно она одной из первых стала пользоваться микросервисами NVIDIA NIM в разработке языковых моделей, интегрированных во многие внутренние системы и процессы на предприятиях, создании умных электромобилей и инфраструктуры умных городов.

Суперкомпьютер Hon Hai Kaohsiung Super Computing Center — лишь часть растущей общемировой сети передовых проектов на основе решений NVIDIA. Сеть включает несколько значимых проектов в Европе и Азии. Сотрудничество компаний становится всё теснее. В ходе того же мероприятия объявлено о сотрудничестве Foxconn и NVIDIA в Мексике. Первая построит завод в стране для упаковки полупроводников NVIDIA.