Компания Uber намерена использовать кастомные Arm-процессоры Ampere Computing в облаке Oracle Cloud Infrastructure (OCI). В частности, компании займутся оптимизацией чипов для ИИ-задач. До недавнего времени Uber использовала преимущественно собственные ЦОД, но в 2022 году приняла решение перенести большую часть задач в облака.

С ростом количества ЦОД и зон доступности управлять IT-инфраструктурой Uber становилось всё сложнее. На ввод в эксплуатацию новой зоны порой требовались месяцы и сотни специалистов, поскольку управление серверами происходило чуть ли не «вручную», а инструменты автоматизации часто подводили. Рассмотрев различные варианты развития, Uber постепенно пришла к сотрудничеству с Ampere, Goolge и Oracle. А в феврале 2023 года компания подписала крупные семилетние облачные контракты с Google и Oracle.

По данным Uber, водители и курьеры компании выполняют более 30 млн заказов ежедневно. Для этого требуется большая IT-инфраструктура, например, для оптимизации маршрутов, в том числе с применением ИИ-технологий — ежесекундно к ИИ-моделям приходит 15 млн запросов. По оценкам Uber и Ampere, перенос нагрузок в OCI не только снизил инфраструктурные затраты, но и уменьшил энергопотребление на 30 %. Сейчас компании совместно работают над новыми чипами, выявляя, какие изменения в микроархитектуру стоит внести, чтобы будущие процессоры оптимально подходили для задач Uber.

Источник изображения: Denys Nevozhai/unsplash.com

Собственные Arm-процессоры разрабатывают AWS, Google Cloud и Microsoft Azure — Graviton, Axion и Cobalt 100 соответственно. Однако кастомизацией под конкретного клиента, пусть даже крупного, они не занимаются. Тем не менее, эксперты IDC считают, что облачные клиенты безусловно выиграют от совместной подготовки с разработчиками чипов новых полупроводниковых решений. Клиенты могут обладать специфическими знаниями и интеллектуальной собственностью, но как правило не имеют возможности самостоятельно вывести на рынок готовый продукт.

Сейчас Uber переносит тысячи микросервисов, многочисленные платформы хранения данных и десятки ИИ-моделей в OCI. Компания уже перевела значительную часть бессерверных рабочих нагрузок на платформы на базе Ampere. Впрочем, дело не ограничивается только Ampere — компания также активно использует инстансы на базе чипов AMD.

Американская инвестиционная компания Blackstone намерена потратить £10 млрд ($13,4 млрд) на масштабный ИИ ЦОД в Великобритании. По данным The Register, объект, названный «крупнейшим в Европе ИИ ЦОД», появится на северо-востоке Англии на месте остановленного завода BritishVolt. Буквально на днях DC01UK тоже представила план строительства за £3,75 млрд ($4,9 млрд) в Хартфордшире одного из крупнейших ИИ ЦОД в регионе.

Проект Blackstone поможет создать 4 тыс. рабочих мест, 1,2 тыс. из которых связаны со строительством дата-центра. Помимо вложения £10 млрд в строительство объекта Blackstone обязалась потратить ещё £110 млн на переподготовку персонала для эксплуатации ЦОД и модернизацию транспортной инфраструктуры в регионе. Впрочем, львиная доля средств уйдёт на ИИ-ускорители, но какие именно, пока не уточняется.

По словам премьер-министра Великобритании Кира Стармера (Keir Starmer), инвестиции Blackstone такого уровня сами по себе являются своеобразным «вотумом доверия» Великобритании и служат доказательством того, что страна вновь стала крупным мировым игроком, открытым для бизнеса. Британские власти немало делают для того, чтобы привлечь инвестиции в местную инфраструктуру. Страна причислила ЦОД к критической национальной инфраструктуре (CNI) с государственной поддержкой.

Источник изображения: Heidi Fin/unsplash.com

Бизнес по сдаче в аренду ИИ-инфраструктуры стал весьма прибыльным во всём мире, поэтому ничего необычного в интересе к нему инвестиционной компании нет. Ранее в The Next Platform подсчитали, что вложение около $1,5 млрд в строительство, развёртывание и сетевое подключение ЦОД за четыре года способны принести $5,27 млрд выручки. Похожий уровень возврата инвестиций прогнозирует и сама NVIDIA. Но в этом деле нужен грамотный подход, чтобы не получилось как в Китае, где наспех построенные ИИ ЦОД оказались невостребованными.

Впрочем, Blackstone — не новичок в отрасли. Весной компания присоединилась к BlackRock и другим инвесторам, чтобы вложить $7,5 млрд в долговое финансирование CoreWeave, сдающей вычислительные мощности ускорителей в аренду. Пока нет данных, захочет ли Blackstone действовать без посредников и представить собственное облако или компания намерена привлечь бизнес вроде CoreWeave к реализации своего проекта. Стоит отметить, что последняя в начале 2024 года анонсировала проект строительства своей европейской штаб-квартиры в Лондоне и двух ИИ ЦОД за £1 млрд.

Американская компания Cloudflare, предоставляющая в числе прочего услуги CDN, анонсировала серверы 12-го поколения для своей инфраструктуры. В основу 2U-узлов легла аппаратная платформа AMD EPYC Genoa-X. По словам компании, новая платформа на 145 % производительнее и при этом на 63 % энергоэффективнее систем 11-го поколения.

Серверы имеют односокетное исполнение. Применён процессор EPYC 9684X с 96 ядрами (192 потока инструкций), работающий на базовой частоте 2,55 ГГц с возможностью повышения до 3,42 ГГц для всех ядер. Объём L3-кеша составляет 1152 Мбайт, а объём оперативной памяти DDR5-4800 в 12-канальной конфигурации составляет 384 Гбайт.

В оснащения входят два накопителя формата EDSFF E1.S (15 мм) с интерфейсом PCIe 4.0 х4 вместимостью 7,68 Тбайт каждый (Samsung PM9A3 и Micron 7450 Pro). Заявленная скорость последовательного чтения информации достигает 6700 Мбайт/с, скорость последовательной записи — 4000 Мбайт/с. Показатель IOPS (операций ввода/вывода в секунду) при произвольном чтении — до 1,0 млн, при произвольной записи — до 200 тыс. Изделия рассчитаны на одну полную перезапись в сутки (DWPD).

Источник изображений: Cloudflare

Серверы оснащены двумя 25GbE-адаптерами OCP 3.0 — Intel Ethernet Network Adapter E810-XXVDA2 и NVIDIA Mellanox ConnectX-6 Lx. Присутствуют контроллеры ASPEED AST2600 (BMC), AST1060 (HRoT), а также TPM-модуль. Примечательно, что все они, а также сдвоенные чипы памяти BMC и BIOS/UEFI, находятся на внешней карте стандарта OCP DC-SCM 2.0. Их разработкой в рамках Project Argus компания занималась совместно с Lenovo.

За питание отвечают два блока мощностью 800 Вт с сертификатом 80 Plus Titanium. Допускается установка одной карты расширения FHFL двойной ширины или двух карт FHFL одинарной ширины. В частности, могут быть добавлены ускорители на базе GPU с показателем TDP до 400 Вт. Во фронтальной части корпуса располагаются вентиляторы охлаждения.

Европейский телеком-оператор Deutsche Telekom (DT) отсудил у Meta✴ более €20 млн ($22 млн) в качестве оплаты за оказанные ранее услуги и раскритиковал поведение американской компании. Впрочем, по данным Datacenter Dynamics, критика DT не осталась без ответа и со стороны Meta✴. В DT подчёркивают, что речь идёт не просто об отдельном недопонимании между компаниями — решается вопрос о том, будет ли в интернете царить право сильного и будут ли IT-гиганты вроде Meta✴ ставить себя выше закона.

Спор между DT и Meta✴ возник из-за прямого пиринга. Meta✴ какое-то время оплачивала подключение, но во время пандемии COVID-19 перестала это делать. В ответ на иск DT окружной суд Кёльна обязал Meta✴ оплатить оказанные услуги. Теперь Meta✴ отправляет трафик через транзитного провайдера.

По мнению DT, именно Meta✴ «провалила переговоры» о прямом соединении. Оператор заявил, что бывший партнёр снова злоупотребляет «подавляющей переговорной позицией», буквально попирая интересы европейской телеком-отрасли и потребителей. DT также обвинила Meta✴ в намерении уклониться от уплаты налогов в ЕС, пренебрежении европейскими принципами защиты данных (компания ссылается на проблемы с WhatsApp и скандал с Cambridge Analytica), попытке пользователей использовать методы оплаты, противоречащие законам о защите прав потребителей и т.п.

Источник изображения: Andrew Neel / Unsplash

Фактически спор компаний касается сетевого нейтралитета. Телеком-операторы считают, что основные поставщики трафика, к которым относятся IT-гиганты, должны прямо или косвенно оплачивать развитие телеком-инфраструктуры. По словам DT, в 2022 году затраты европейских операторов на инфраструктуру составили €55 млрд ($61,27 млрд), а гиперскейлеры потратили всего €1 млрд ($1,11 млрд). Проведённый Еврокомиссией показал, что респонденты не особенно интересуются идеей обязать платить техногигантов за инфраструктуру. В Meta✴ считают, что бесплатные пиринговые взаимодействия являются нормой для отрасли и с тысячами операторов по всему миру отношения у компании безвозмездные.

Meta✴, в свою очередь, обвинила оператора в нарушении «сетевого нейтралитета» и создании угрозы открытому интернету. По словам техногиганта, DT фактически пользуется своим влиянием для создания «пейволла», ограничивающего доступ к интернет-услугам. В компании «удивлены и разочарованы» тем, что переговоры с DT провалились. В Meta✴ подчёркивают, что практика Deutsche Telekom создаёт опасный мировой прецедент. Подчёркивается, что телеком-компании и без того зарабатывают деньги, обеспечивая доступ в интернет.

Также отмечается, что в 2022 году Meta✴ инвестировала более €27 млрд ($30 млрд) в цифровую инфраструктуру по всему миру, что снижает расходы и телеком-операторов, включая DT. В этом году Meta✴, вероятно, потратит на инфраструктуру до $37 млрд, на $2 млрд больше, чем ожидалось. Правда, в основном средства пойдут на строительство и оснащение ЦОД. Что касается расходов в телеком-секторе, то гиперскейлеры в основном вкладываются в протяжённые подводные и наземные магистрали.

Компания Seeed Studio, по сообщению CNX-Software, представила плату reServer Industrial J501, рассчитанную на подключение вычислительного модуля NVIDIA Jetson AGX Orin. Новинка предназначена для создания периферийных устройств с ИИ-функциями, таких как роботы, всевозможные встраиваемые решения и пр.

Может быть задействовано изделие Jetson AGX Orin с 32 и 64 Гбайт памяти LPDDR5. В первом случае используется GPU с 1792 ядрами Ampere и 56 тензорными ядрами, во втором — с 2048 ядрами Ampere и 64 тензорными ядрами. ИИ-производительность достигает соответственно 200 и 275 TOPS.

Плата reServer Industrial J501 располагает двумя портами SATA-3 и коннектором M.2 Key M (PCIe 4.0; NVMe) для SSD. Есть слот Mini PCIe для модуля LoRaWAN/4G, разъём M.2 Key B (3042/3052) для сотового модема 4G/5G (есть слот Nano SIM) и разъём M.2 Key E для адаптера Wi-Fi/Bluetooth. Реализованы сетевые порты 1GbE и 10GbE на базе коннекторов RJ-45.

Источник изображения: Seeed Studio

В набор доступных интерфейсов входят: HDMI 2.1 Type-A с поддержкой разрешения до 7680 × 4320 пикселей, по одному порту USB 3.1 Type-C (Host Mode) и USB 2.0 Type-C (Device Mode), три порта USB 3.1 Type-A, последовательный порт RS-232/422/485, колодка GPIO/DIO (4 × DI, 4 × DO, 3 × GND_DI, 2 × GND_DO, 1 × GND_ISO, 1 × CAN). Возможно подключение опциональных плат расширения с поддержкой восьми камер GMSL (Gigabit Multimedia Serial Link).

Размеры reServer Industrial J501 составляют 176 × 163 мм, масса — 225 г (без вычислительного модуля). Диапазон рабочих температур простирается от -25 до +60 °C. Питание подаётся от сетевого адаптера на 24 В / 5 A. Новинка предлагается по ориентировочной цене $379.

Облачная платформа Oracle Cloud Infrastructure (OCI) задействовала ускорители AMD Instinct MI300X и открытый программный стек AMD ROCm в составе новейших инстансов BM.GPU.MI300X.8. Они предназначены для ресурсоёмких ИИ-нагрузок, включая обработку больших языковых моделей (LLM), насчитывающих сотни миллиардов параметров.

Инстансы BM.GPU.MI300X.8 типа Bare Metal объединяют восемь ускорителей Instinct MI300X, каждый из которых несёт на борту 192 Гбайт памяти HBM3 с пропускной способностью 5,3 Тбайт/с. Утверждается, что модель Hugging Face OPT с 66 млрд параметров может быть запущена на одном Instinct MI300X.

В составе инстансов задействованы два процессора Intel Xeon Sapphire Rapids с 56 ядрами. Объём оперативной памяти DDR5 составляет 2 Тбайт. Для хранения данных используются восемь NVMe SSD вместимостью 3,84 Тбайт каждый. Инстансы включают frontend-сеть с пропускной способностью 100 Гбит/с, а в составе кластера применяются соединения уровня 400G (×8).

Источник изображения: AMD

Стоимость подписки на BM.GPU.MI300X.8 составляет $6/час за каждый ускоритель. Платформа OCI Supercluster на базе AMD Instinct MI300X может объединять до 16 384 ускорителей, что позволяет заказчикам гибко масштабировать вычислительные ресурсы под свои задачи, говорит компания. Отмечается, что появление новых инстансов предоставит клиентам OCI больше возможностей в плане организации высокопроизводительных и эффективных вычислений при реализации сложных ИИ-проектов.

Кроме того, компания предлагает и кластеры с ускорителями NVIDIA: 32 768 × A100, 16 384 × H100, 65 536 × H200 и 3840 × L40S. А в I половине 2025 года заказчикам станет доступен зеттафлопсный облачный ИИ-суперкомпьютер из 131 072 ускорителей NVIDIA B200 (Blackwell).

Глобальный рынок продуктов, связанных с ИИ, включая услуги и оборудование, будет расти на 40–55 % в год с $185 млрд в прошлом году и достигнет $780–990 млрд в 2027 году, сообщается в пятом ежегодном «Глобальном технологическом отчёте» (Global Technology Report) консалтинговой фирмы Bain & Co, передаёт Bloomberg.

Драйверами роста рынка в Bain назвали более крупные ИИ-системы и более крупные ЦОД для их обучения и эксплуатации. ИИ понадобится компаниям и правительствам для повышения эффективности работы. Спрос растёт столь быстро, что это ударит по цепочкам поставок компонентов, включая чипы, а на фоне геополитической напряжённости может спровоцировать дефицит полупроводников, персональных компьютеров и смартфонов, предупредили в Bain.

Источник изображений: bain.com

По оценкам консалтинговой фирмы, спрос на проектирование интегральных схем и связанную с этим интеллектуальную собственность может вырасти на 30 % и более к 2026 году, что окажет давление на производителей. Стоимость крупных ЦОД может подскочить через пять лет с $1–$4 млрд в настоящее время до $10–$25 млрд, поскольку их мощность увеличится до 1+ ГВт с 50–200 МВт в настоящее время.

«Ожидается, что эти изменения будут иметь огромные последствия для экосистем, которые поддерживают ЦОД, включая проектирование инфраструктуры, выработку электроэнергии и охлаждение», — говорится в заявлении консалтинговой компании.

Компании перешли от этапа экспериментов к масштабированию генеративного ИИ, указано в отчёте Bain. Малые языковые модели (SLM), более «лёгкие» и эффективные в сравнении с LLM, могут быть более предпочтительны для предприятий и стран, что связано с меньшим объёмом затрат и опасениями по поводу конфиденциальности.

Правительства ряда стран, включая Канаду, Францию, Индию, Японию и ОАЭ, тратят миллиарды долларов на субсидирование суверенного ИИ, инвестируя в национальную вычислительную инфраструктуру и ИИ-модели, созданные в пределах их границ и обученные на собственных данных. Но создание успешных суверенных экосистем ИИ будет трудоёмким и дорогим, считают в Bain.

«Лаборатория Касперского» сообщила о выпуске бета-версии брандмауэра Kaspersky NGFW.

Представленный российским разработчиком продукт относится к классу межсетевых экранов нового поколения (NGFW). Программный комплекс обеспечивает защиту корпоративной сети от сетевых атак и вредоносного ПО, а также управление доступом к веб‑ресурсам. В решение встроен инструмент DPI-анализа трафика, который определяет более 4 тысяч приложений. Также используется система обнаружения вторжений в сеть (IDPS), которая предотвращает атаки в режиме реального времени, поддерживает HTTP 2.0 и содержит более 6 тысяч сигнатур.

Kaspersky NGFW поддерживает интеграцию с защитным комплексом Kaspersky Symphony Extended Detection and Response (XDR). Это позволяет реагировать на угрозы с помощью решений, входящих в состав экосистемы, а также обогащает картину кибербезопасности компании. Управление и мониторинг осуществляется через единую консоль — Open Single Management Platform.

Источник изображения: «Лаборатория Касперского»

Решение предназначено для средних и крупных организаций (1000 и более устройств) со сложной сетевой инфраструктурой, которые подпадают под требования регуляторов в области кибербезопасности: государственный и финансовый сектор, розничная торговля, здравоохранение, транспорт, образование, телеком.

Корпорация Oracle, уже владеющая 29 % акций стартапа Ampere Computing, специализирующегося на разработке серверных Arm-процессоров, может использовать будущие инвестиционные опции, чтобы получить над ним контроль, пишет Bloomberg. Об этом стало известно из нормативного документа, направленного Oracle регулятору на этой неделе.

В нём сообщается, что в дополнение к долевому участию в стартапе Oracle инвестировала в течение финансового года, закончившегося 31 мая 2024 года, $600 млн в конвертируемые долговые ценные бумаги, выпущенные Ampere, после того как в 2023 финансовом году приобрела таких ценных бумаг на $400 млн. Срок погашения долга наступает в июне 2026 года. В случае реализации опций на приобретение дополнительной доли в капитале стартапа до января 2027 года Oracle «получит контроль над Ampere», указано в документе, подготовленном Oracle.

Источник изображения: Ampere

В документе также сообщается, что основатель и гендиректор Ampere Рене Джеймс (Renee James), а также Джеймс Вишал Сикка (Vishal Sikka), основатель и гендиректор Vianai Systems, покинут совет директоров Oracle и не будут баллотироваться на переизбрание на ежегодном собрании акционеров 14 ноября. В результате состав участников совета директоров сократится с 15 до 13 человек. Джеймс вошла в совет директоров Oracle в декабре 2015 года, а Сикка — в декабре 2019 года.

По оценкам Ampere, в настоящее время 95 % сервисов Oracle используют её CPU, а недавно компания договорились о партнёрстве с Uber. Тем не менее, Oracle сообщила в документе, что сократила закупки микросхем Ampere. Компания разместила заказ по предоплате на процессоры Ampere в размере $104,1 млн в 2023 финансовом году. В итоге она получила чипы на $4,7 млн напрямую и на $43,2 млн через посредников. В 2024 финансовом году она приобрела чипы Ampere на $3 млн напрямую, но ничего не закупала через дистрибуторов. На данный момент предоплата Oracle за чипы составляет $101,1 млн.

Что касается доли в Ampere, Oracle сообщила, что «общая балансовая стоимость её инвестиций в Ampere, после учёта убытков по методу долевого участия, составила $1,5 млрд по состоянию на 31 мая». Ранее стало известно, что Ampere больше не планирует в ближайшем будущем IPO и изучает возможность своей продажи крупному игроку рынка.

Стартап EdgeCloudLink (ECL), разрабатывающий автономные модульные ЦОД с питанием от водорода, возводимые методом 3D-печати, заявил о намерении построить за $8 млрд ИИ ЦОД TerraSite-TX1 ёмкостью 1 ГВт к востоку от Хьюстона (Техас). В перспективе кампус может вырасти и до 2 ГВт, но пока планируется к лету 2025 года ввести в эксплуатацию 50 МВт, что обойдётся в $450 млн. Первым клиентом станет оператор ИИ-облака Lambda Labs.

Источник изображений: EdgeCloudLink

К ЦОД будут вести три ветки газопровода, по которым и будет поставляться водород для питания кампуса. Как уточняет, DataCenter Dynamics, энергия будет обходиться в $0,08–$0,12/кВт·ч. В Lambda уверены, что новая «зелёная» инфраструктура обеспечит исследователей и разработчиков существенными вычислительными ресурсами, при этом проект позволяет снизить нагрузку ИИ-технологий на окружающую среду.

В компании неоднократно подчёркивали нулевой выброс своих ЦОД. Правда, это не касается всей цепочки поставок, поскольку новый ЦОД будет питаться от водорода, полученного методом паровой конверсии, который сопровождается выбросами углекислоты. Ожидается, что в 2025 году половина поставок будет приходиться именно на такой «серый» водород, а вторая половина — на «голубой», который тоже получается в результате паровой конверсии метана, но при этом CO₂ в процессе захватывается и сохраняется. Годом позже компания намерена перейти к соотношению 80/20 «голубого» и «зелёного» водорода, последний добывается с помощью возобновляемой энергии.

Как заявляют в ECL, пока другие говорят о создании водородных дата-центров без подключения к магистральным электросетям через 5–20 лет, только ECL готова реализовать проект в кратчайшие сроки, в том числе благодаря использованию 3D-печати для строительства объектов — на возведение, оснащение и ввод в эксплуатацию уходит менее одного года.

Первый модульный ЦОД компании ёмкостью 1 МВт был запущен в мае 2024 года на небольшой площадке в Маунтин-Вью (Калифорния). Теперь ECL ищет средства для финансирования всего $8-млрд проекта, а не только первого этапа. Ранее в этом году она уже привлекла несколько миллионов долларов инвестиций.