Компания Seeed Studio, по сообщению CNX-Software, представила плату reServer Industrial J501, рассчитанную на подключение вычислительного модуля NVIDIA Jetson AGX Orin. Новинка предназначена для создания периферийных устройств с ИИ-функциями, таких как роботы, всевозможные встраиваемые решения и пр.

Может быть задействовано изделие Jetson AGX Orin с 32 и 64 Гбайт памяти LPDDR5. В первом случае используется GPU с 1792 ядрами Ampere и 56 тензорными ядрами, во втором — с 2048 ядрами Ampere и 64 тензорными ядрами. ИИ-производительность достигает соответственно 200 и 275 TOPS.

Плата reServer Industrial J501 располагает двумя портами SATA-3 и коннектором M.2 Key M (PCIe 4.0; NVMe) для SSD. Есть слот Mini PCIe для модуля LoRaWAN/4G, разъём M.2 Key B (3042/3052) для сотового модема 4G/5G (есть слот Nano SIM) и разъём M.2 Key E для адаптера Wi-Fi/Bluetooth. Реализованы сетевые порты 1GbE и 10GbE на базе коннекторов RJ-45.

Источник изображения: Seeed Studio

В набор доступных интерфейсов входят: HDMI 2.1 Type-A с поддержкой разрешения до 7680 × 4320 пикселей, по одному порту USB 3.1 Type-C (Host Mode) и USB 2.0 Type-C (Device Mode), три порта USB 3.1 Type-A, последовательный порт RS-232/422/485, колодка GPIO/DIO (4 × DI, 4 × DO, 3 × GND_DI, 2 × GND_DO, 1 × GND_ISO, 1 × CAN). Возможно подключение опциональных плат расширения с поддержкой восьми камер GMSL (Gigabit Multimedia Serial Link).

Размеры reServer Industrial J501 составляют 176 × 163 мм, масса — 225 г (без вычислительного модуля). Диапазон рабочих температур простирается от -25 до +60 °C. Питание подаётся от сетевого адаптера на 24 В / 5 A. Новинка предлагается по ориентировочной цене $379.

Облачная платформа Oracle Cloud Infrastructure (OCI) задействовала ускорители AMD Instinct MI300X и открытый программный стек AMD ROCm в составе новейших инстансов BM.GPU.MI300X.8. Они предназначены для ресурсоёмких ИИ-нагрузок, включая обработку больших языковых моделей (LLM), насчитывающих сотни миллиардов параметров.

Инстансы BM.GPU.MI300X.8 типа Bare Metal объединяют восемь ускорителей Instinct MI300X, каждый из которых несёт на борту 192 Гбайт памяти HBM3 с пропускной способностью 5,3 Тбайт/с. Утверждается, что модель Hugging Face OPT с 66 млрд параметров может быть запущена на одном Instinct MI300X.

В составе инстансов задействованы два процессора Intel Xeon Sapphire Rapids с 56 ядрами. Объём оперативной памяти DDR5 составляет 2 Тбайт. Для хранения данных используются восемь NVMe SSD вместимостью 3,84 Тбайт каждый. Инстансы включают frontend-сеть с пропускной способностью 100 Гбит/с, а в составе кластера применяются соединения уровня 400G (×8).

Источник изображения: AMD

Стоимость подписки на BM.GPU.MI300X.8 составляет $6/час за каждый ускоритель. Платформа OCI Supercluster на базе AMD Instinct MI300X может объединять до 16 384 ускорителей, что позволяет заказчикам гибко масштабировать вычислительные ресурсы под свои задачи, говорит компания. Отмечается, что появление новых инстансов предоставит клиентам OCI больше возможностей в плане организации высокопроизводительных и эффективных вычислений при реализации сложных ИИ-проектов.

Кроме того, компания предлагает и кластеры с ускорителями NVIDIA: 32 768 × A100, 16 384 × H100, 65 536 × H200 и 3840 × L40S. А в I половине 2025 года заказчикам станет доступен зеттафлопсный облачный ИИ-суперкомпьютер из 131 072 ускорителей NVIDIA B200 (Blackwell).

Глобальный рынок продуктов, связанных с ИИ, включая услуги и оборудование, будет расти на 40–55 % в год с $185 млрд в прошлом году и достигнет $780–990 млрд в 2027 году, сообщается в пятом ежегодном «Глобальном технологическом отчёте» (Global Technology Report) консалтинговой фирмы Bain & Co, передаёт Bloomberg.

Драйверами роста рынка в Bain назвали более крупные ИИ-системы и более крупные ЦОД для их обучения и эксплуатации. ИИ понадобится компаниям и правительствам для повышения эффективности работы. Спрос растёт столь быстро, что это ударит по цепочкам поставок компонентов, включая чипы, а на фоне геополитической напряжённости может спровоцировать дефицит полупроводников, персональных компьютеров и смартфонов, предупредили в Bain.

Источник изображений: bain.com

По оценкам консалтинговой фирмы, спрос на проектирование интегральных схем и связанную с этим интеллектуальную собственность может вырасти на 30 % и более к 2026 году, что окажет давление на производителей. Стоимость крупных ЦОД может подскочить через пять лет с $1–$4 млрд в настоящее время до $10–$25 млрд, поскольку их мощность увеличится до 1+ ГВт с 50–200 МВт в настоящее время.

«Ожидается, что эти изменения будут иметь огромные последствия для экосистем, которые поддерживают ЦОД, включая проектирование инфраструктуры, выработку электроэнергии и охлаждение», — говорится в заявлении консалтинговой компании.

Компании перешли от этапа экспериментов к масштабированию генеративного ИИ, указано в отчёте Bain. Малые языковые модели (SLM), более «лёгкие» и эффективные в сравнении с LLM, могут быть более предпочтительны для предприятий и стран, что связано с меньшим объёмом затрат и опасениями по поводу конфиденциальности.

Правительства ряда стран, включая Канаду, Францию, Индию, Японию и ОАЭ, тратят миллиарды долларов на субсидирование суверенного ИИ, инвестируя в национальную вычислительную инфраструктуру и ИИ-модели, созданные в пределах их границ и обученные на собственных данных. Но создание успешных суверенных экосистем ИИ будет трудоёмким и дорогим, считают в Bain.

«Лаборатория Касперского» сообщила о выпуске бета-версии брандмауэра Kaspersky NGFW.

Представленный российским разработчиком продукт относится к классу межсетевых экранов нового поколения (NGFW). Программный комплекс обеспечивает защиту корпоративной сети от сетевых атак и вредоносного ПО, а также управление доступом к веб‑ресурсам. В решение встроен инструмент DPI-анализа трафика, который определяет более 4 тысяч приложений. Также используется система обнаружения вторжений в сеть (IDPS), которая предотвращает атаки в режиме реального времени, поддерживает HTTP 2.0 и содержит более 6 тысяч сигнатур.

Kaspersky NGFW поддерживает интеграцию с защитным комплексом Kaspersky Symphony Extended Detection and Response (XDR). Это позволяет реагировать на угрозы с помощью решений, входящих в состав экосистемы, а также обогащает картину кибербезопасности компании. Управление и мониторинг осуществляется через единую консоль — Open Single Management Platform.

Источник изображения: «Лаборатория Касперского»

Решение предназначено для средних и крупных организаций (1000 и более устройств) со сложной сетевой инфраструктурой, которые подпадают под требования регуляторов в области кибербезопасности: государственный и финансовый сектор, розничная торговля, здравоохранение, транспорт, образование, телеком.

Стартап EdgeCloudLink (ECL), разрабатывающий автономные модульные ЦОД с питанием от водорода, возводимые методом 3D-печати, заявил о намерении построить за $8 млрд ИИ ЦОД TerraSite-TX1 ёмкостью 1 ГВт к востоку от Хьюстона (Техас). В перспективе кампус может вырасти и до 2 ГВт, но пока планируется к лету 2025 года ввести в эксплуатацию 50 МВт, что обойдётся в $450 млн. Первым клиентом станет оператор ИИ-облака Lambda Labs.

Источник изображений: EdgeCloudLink

К ЦОД будут вести три ветки газопровода, по которым и будет поставляться водород для питания кампуса. Как уточняет, DataCenter Dynamics, энергия будет обходиться в $0,08–$0,12/кВт·ч. В Lambda уверены, что новая «зелёная» инфраструктура обеспечит исследователей и разработчиков существенными вычислительными ресурсами, при этом проект позволяет снизить нагрузку ИИ-технологий на окружающую среду.

В компании неоднократно подчёркивали нулевой выброс своих ЦОД. Правда, это не касается всей цепочки поставок, поскольку новый ЦОД будет питаться от водорода, полученного методом паровой конверсии, который сопровождается выбросами углекислоты. Ожидается, что в 2025 году половина поставок будет приходиться именно на такой «серый» водород, а вторая половина — на «голубой», который тоже получается в результате паровой конверсии метана, но при этом CO₂ в процессе захватывается и сохраняется. Годом позже компания намерена перейти к соотношению 80/20 «голубого» и «зелёного» водорода, последний добывается с помощью возобновляемой энергии.

Как заявляют в ECL, пока другие говорят о создании водородных дата-центров без подключения к магистральным электросетям через 5–20 лет, только ECL готова реализовать проект в кратчайшие сроки, в том числе благодаря использованию 3D-печати для строительства объектов — на возведение, оснащение и ввод в эксплуатацию уходит менее одного года.

Первый модульный ЦОД компании ёмкостью 1 МВт был запущен в мае 2024 года на небольшой площадке в Маунтин-Вью (Калифорния). Теперь ECL ищет средства для финансирования всего $8-млрд проекта, а не только первого этапа. Ранее в этом году она уже привлекла несколько миллионов долларов инвестиций.

Растущий спрос на электроэнергию для ИИ ЦОД вынуждает операторов расширять свои безуглеродные энергетические проекты и развивать системы СЖО. Однако не всегда и везде это удаётся. По данным DigiTimes, лидеры индустрии ЦОД подчёркивают важность бесперебойного электроснабжения для создания новых дата-центров на Тайване.

По данным доклада 2023 National Power Supply and Demand местного министерства экономики, спрос на электричество для ИИ-проектов на Тайване, вероятно, вырастет с 240 МВт в 2023 году до 2240 МВт к 2028 году. Основное энергопотребление ЦОД приходится на серверы и системы охлаждения. Отраслевые эксперты заявляют, что стабильность энергоснабжения стала главным приоритетом при выборе местоположения ЦОД. На ранних стадия планирования проекты обязательно необходимо представлять на согласование местному оператору Taipower.

Источник изображения: American Public Power Association/unsplash.com

Для охлаждения серверов пока применяются преимущественно воздушные системы. Чтобы повысить их эффективность, многие ведущие компании переходят на СЖО, в том числе иммерсионное охлаждение, значительно снижая PUE. По данным DigiTimes Research, около 80 % энергопотребления ЦОД приходится на обеспечение работы серверов и охлаждение. В последнее время власти многих стран предъявляют жёсткие требования к новым ЦОД, PUE которых не должен быть выше 1,4.

Помимо обеспечения стабильного электроснабжения, операторы ЦОД также уделяют особое внимание использованию возобновляемой энергии. Тайваньская энергетическая политика пока предусматривает «безъядерный» энергопереход с агрессивным внедрением «зелёной» энергетики. С учётом наплыва иностранных компаний, желающих построить ЦОД на острове, обеспечение доступа к «зелёному» электричеству стало приоритетом.

IT-гиганты вроде AWS, Microsoft и Google активно рассматривают на Тайване переход на углеродно-нейтральные источники питания, включая АЭС. Энергокомпании действительно отмечают рост спроса со стороны операторов ЦОД на «зелёную» энергию. Впрочем, пока в основном ведутся лишь предварительные обсуждения, а поставщики не уверены, стоит ли поставлять энергию такого типа исключительно дата-центрам.

В Сети появилась информация о том, что глава OpenAI Сэм Альтман (Sam Altman) пытается убедить президента США Джо Байдена (Joe Biden) в необходимости строительства большой сети ИИ ЦОД. Bloomberg сообщает, что каждый из этих дата-центров будет потреблять до 5 ГВт, как планируемый ЦОД Stargate. Предполагается, что такое строительство необходимо для обеспечения национальной безопасности США.

Предложение, изложенное в документе, попавшем в руки журналистам Bloomberg, подчёркивает достоинства строительства нескольких таких ЦОД на территории Соединённых Штатов. Информация появилась спустя всего несколько недель после того, как Альтман и другие лидеры технологической отрасли посетили Белый Дом для обсуждения вопросов развития ИИ-технологий и инфраструктуры.

Журналисты цитируют представителей Constellation Energy, сообщивших, что Альтман может планировать возведение 5–7 подобных мегацентров, но пока готов начать с одного. Впрочем, строительство даже единственного объекта будет весьма сложной задачей, поскольку каждый ЦОД на 5 ГВт потребует, по-видимому, подключения к АЭС или крупным ГЭС. В результате в США придётся реализовать гигантские энергопроекты.

Источник изображения: Glenov Brankovic/unsplash.com

Так, ГЭС Grand Coulee в штате Вашингтон имеет мощность 6,8 ГВт, а атомные электростанции в Джорджии (Alvin W. Vogtle) и Аризоне (Palo Verde) обеспечивают 4,6 и 3,9 ГВт соответственно. Согласно докладу CBRE, вышедшему в конце прошлого месяца, уже отмечается нехватка энергии, препятствующая своевременному вводу объектов в эксплуатацию. При этом Министерство энергетики США действительно рассматривает массовый ввод в строй новых реакторов на старых угольных и атомных электростанциях.

С учётом высокого спроса, облачные провайдеры уже принимают экстренные меры для обеспечения своих объектов энергией. Microsoft заключила PPA на 20 лет с Constellation Energy для возвращения в строй 837-МВт реактора АЭС Three Mile Island. Ранее в этом году AWS заключила соглашение с Talen Energy, владеющей и управляющей АЭС Susquehanna. Amazon приобрела у компании ЦОД Cumulus за $650 млн, получив доступ к 960 МВт, а Oracle планирует ЦОД на малых модульных реакторах (SMR). Сам Альтман поддерживает стартапы в области ядерной (Oklo), термоядерной (Helion) и солнечной (Exowatt) энергетики.

В любом случае останется проблема получения огромного количества ускорителей для дата-центров. Если средний показатель PUE будет на уровне 1.1, то объект на 5 ГВт будет поддерживать до 35 тыс. суперускорителей NVIDIA Blackwell NVL72 или приблизительно 2,5 млн чипов Blackwell. Для сравнения, в 2023 году, по данным Uptime Institute, NVIDIA поставил всего около 600 тыс. ускорителей H100, а в этом вероятны поставки 1,5–2 млн ускорителей. При этом далеко не факт, что TSMC сможет справиться с выполнением заказа NVIDIA, особенно с учётом ограничений технологий упаковки CoWoS.

Конечно, Альтман часто выдвигал полуфантастические идеи. Ранее в этом году сообщалось, что он предложил проект сети производств чипов на $7 трлн для удовлетворения аппетитов своего бизнеса. Впрочем, выступая на мероприятии Foundry компании Intel в феврале он напомнил, что не всё, что написано в интернет — правда. Другими словами, план Альтмана, который он пытается продвигать в администрации, возможно, лишь попытка заставить правительство задуматься о долгосрочных инвестициях в ИИ.

Nebius, бывшая материнская компания «Яндекса», объявила о развёртывании своего первого вычислительного ИИ-кластера во Франции. Комплекс, предназначенный для нагрузок ИИ, сформирован на базе дата-центра Equinix PA10 в Сен-Дени — в 9 км к северу от центра Парижа.

Новый кластер станет первым объектом Nebius, на котором используются исключительно серверы и стойки собственной разработки. Такие системы проектируются специально с прицелом на применение мощных ускорителей на базе GPU. Благодаря этому, в частности, ускоряется ввод в эксплуатацию. Настройка оборудования и ввод систем в эксплуатацию на площадке Equinix PA10 займут всего два месяца. ЦОД начнёт обрабатывать клиентские рабочие нагрузки в ноябре 2024 года.

Известно, что в составе кластера Nebius задействованы ускорители NVIDIA H200. Тепло, вырабатываемое серверами Nebius, будет использоваться для обогрева городской фермы, раскинувшейся на крыше дата-центра Equinix PA10. Она включает теплицу, в которой выращиваются сезонные фрукты и овощи, и сад.

Источник изображений: Nebius

Говорится, что запуск парижской площадки является частью стратегии Nebius по созданию крупномасштабной сети ИИ-кластеров по всему миру. Они будут предоставлять клиентам ресурсы для решения задач, связанных с ИИ. В частности, к середине 2025 года Nebius намерена инвестировать более $1 млрд в инфраструктуру ИИ в Европе. Со следующего года компания начнёт внедрение систем на базе ускорителей NVIDIA Blackwell.

«Мы работаем в новой отрасли, которая требует как передовых технологий, так и значительного капитала. Запуск кластера в Париже — это следующий шаг в рамках нашей программы по расширению возможностей ИИ в Европе», — сказал Аркадий Волож, основатель и генеральный директор Nebius.

Облачная платформа Yandex Cloud объявила о планах увеличить инвестиции в развитие существующих и создание новых сервисов и технологий. В течение двух лет, с 2025 по 2026 год, на эти цели будет выделено 42 млрд руб., что почти вдвое больше затрат в 2023–2024 гг., составивших 22 млрд руб.

Источник изображений: Yandex Cloud

Рост инвестиций связан с высокими темпами развития платформы, увеличением количества пользователей и расширением списка приоритетных направлений, в который вошли ИИ-сервисы, сервисы для управления информационной безопасностью и средства обеспечения полного цикла разработки.

Одно из новых направлений Yandex Cloud — сервисы для работы с ИИ-технологиями. Представленная сегодня в рамках Yandex Scale 2024 платформа AI Studio позволяет в рамках единого интерфейса создавать приложения на базе различных ИИ-технологий Яндекса: сетей YandexGPT и YandexART, технологий распознавания и синтеза речи и т.д. Платформа включает SDK с готовыми образцами кода, которые позволят клиентам ускорить процесс разработки.

Также в платформе доступен AI Playground — сервис для тестирования ML-моделей в режиме диалога, который позволяет подобрать оптимальные промпты и настройки моделей для своих проектов. В будущем AI Playground предложит и другие ML-технологии, в том числе модели для синтеза и распознавания речи Yandex SpeechKit. Платформа, уже доступная всем клиентам Yandex Cloud, в дальнейшем будет пополняться новыми возможностями. Компания также планирует делиться собственными практиками по внедрению ИИ, чтобы помочь заказчикам быстрее получать выгоду от его использования.

Второе направление инвестиций — укрепление информационной безопасности. Yandex Cloud будет развивать существующие решения в этой сфере, например сервисы для защиты от DDoS-атак, а также создавать новые. Так, была представлена единая «приборная панель» Security Deck, которая позволяет управлять безопасностью облачной инфраструктуры и наблюдать за ключевыми параметрами. С её помощью можно выявлять уязвимости, отслеживать чувствительные данные, а также управлять правами доступа сотрудников, чтобы снизить риск утечек из облака. Тестирование Security Desk бесплатное — достаточно подать заявку на сайте.

Security Deck объединяет несколько инструментов по управлению безопасностью. Например, модуль Data Security Posture Management (DSPM) предназначен для выявления персональных и других чувствительных данных в инфраструктуре. Он определяет места хранения различных типов конфиденциальной информации (например, ФИО или СНИЛС), что позволяет снизить риск их утечки. А с помощью модуля Cloud Infrastructure Entitlements Management (CIEM) можно проверять права доступа к облачным ресурсам.

Также имеется модуль контроля прозрачности доступа к облачным ресурсам Access Transparency. Он позволяет проверить, для каких целей был предоставлен доступ сотрудников облачной платформы к инфраструктуре — например, для выполнения дополнительной диагностики ИТ-систем инженерами службы поддержки или обновления ПО. Встроенная нейросеть YandexGPT обобщает собранную информацию и предоставляет её в удобном виде.

Ещё одно направление — платформа полного цикла для разработки и сопровождения IT-продуктов SourceCraft. На этой платформе можно будет создавать исходный код, управлять его версиями, тестировать, собирать, развёртывать и сопровождать ПО. Помимо инструментов хранения и ревью кода в SourceCraft будут добавлены функции для непрерывной интеграции и развёртывания ИТ-проектов, безопасной разработки, аудита, логгинга, мониторинга и трейсинга.

Первым компонентом платформы станет представленный ранее сервис Yandex Code Assistant — ИИ-помощник для работы с кодом. С его помощью можно будет по фрагменту кода сгенерировать наиболее вероятное его продолжение. Сервис уже доступен для тестирования на облачной платформе Yandex Cloud. Компания предоставит доступ к SourceCraft внешним пользователям в 2025 году, но уже сейчас можно записаться в лист ожидания.

Также на конференции было объявлено о запуске сервиса по аренде выделенных физических серверов Yandex BareMetal и сервиса Serverless Integrations для ускорения разработки продуктов в облаке. Yandex BareMetal позволит компаниям получить вычислительные мощности для размещения любого ПО, в том числе средств виртуализации. При этом обслуживание оборудования компания берёт на себя.

Yandex BareMetal можно использовать вместе с остальной облачной инфраструктурой Yandex Cloud. Клиенты смогут выбрать необходимую конфигурацию сервера в специальной консоли, а также использовать единый центр поддержки, биллинг и систему управления доступом провайдера. Заявки на бесплатное закрытое тестирование Yandex BareMetal, которое начнётся до конца 2024 года, можно подать уже сейчас.

В свою очередь сервис Serverless Integrations позволит ИТ-специалистам без написания кода автоматизировать рабочие процессы, например, обработку онлайн-заказов и мониторинг систем безопасности, что по данным компании, позволяет ускорить разработку приложений на 10–70 % в зависимости от задач и специфики компании. Serverless Integrations доступен пользователям Yandex Cloud по запросу.

Связать рабочие процессы между собой поможет инструмент Workflows. Достаточно пошагово описать последовательность операций с помощью разметки, и в нужный момент Workflows сам запустит эти процессы и проконтролирует их выполнение. В будущем в Workflows появится визуальный интерфейс, с помощью которого последовательность процессов можно будет составлять из блоков, как в конструкторе. Для автоматизации процессов также есть EventRouter — инструмент для обмена информации между внутренними сервисами о новых событиях в системе.

Стремительное развитие ИИ-технологий в Китае проходит не без эксцессов. По данным Datacenter Knowledge, в стране создано большое количество дата-центров для ИИ-систем, однако их ёмкость оказалась избыточной, а сами они оказались не лучшим образом приспособлены под такие нагрузки.

По информации китайских СМИ, проводящих собственные расследования, местные операторы создали слишком большие ёмкости, переоценив спрос. Негативно сказывается на отрасли и отсутствие достаточных компетенций в создании и управлении сложными ИИ-инфраструктурами. Для ИИ-приложений требуется иная архитектура ЦОД, более плотно интегрирующая на уровне «железа» и ПО вычисления, хранение и сети. Кроме того, такие объекты потребляют примерно вчетверо больше энергии в сравнении с традиционными ЦОД на базе CPU.

Источник изображения: Nadiia Ganzhyi/unsplash.com

При этом эксплуатация среднестатистического ИИ ЦОД на 1250 серверов в Китае обходится довольно дорого, до ¥1 млрд ($141 млн) в год. В основном расходы приходятся на электроэнергию и амортизацию. В прошлом году эксперты AI Technology Review пришли к выводу, что прогнозы в необходимости большого числа ЦОД были не вполне верными и спрос оказался переоценен. В результате это привело к простою серверов, а в некоторых случаях даже к закрытию ИИ-центров.

К 2025 году Китай планирует ввести в эксплуатацию 50 вычислительных центров для систем искусственного интеллекта, за четыре года вычислительные способности страны должны вырасти на треть. По некоторым оценкам, 70 новых центров строятся уже сейчас. Представители государственных структур КНР раскрыли, что за последний год власти потратили $6,1 млрд на строительство крупных кампусов ЦОД, а ещё $28 млрд вложили в отрасль частные компании.

Однако программа по переносу крупных ЦОД в западные регионы страны, например, во Внутреннюю Монголию, где есть избыток энергии, а рабочая сила и земля дешевле, чем на востоке, не вполне оправдала себя. Заказчики из густонаселённых восточных районов предпочитают использовать новые кампусы на западе исключительно для хранения, но не обработки данных. Этому мешают высокая задержка доступа, а также дороговизна подключения — порядка ¥160 тыс. ($22,5 тыс.) в месяц за выделенный канал шириной 1 Гбит/с.