Компания Microsoft будет способствовать развитию облачной и ИИ-инфраструктуры Бразилии, расширяя свои собственные дата-центры в стране. По данным Datacenter Dynamics, компания объявила о намерении потратить $2,7 млрд на соответствующие проекты в течение трёх лет. В частности, в штате Сан-Паулу предполагается расширить облачную инфраструктуру в нескольких кампусах ЦОД. В Бразилии у компании есть облачный регион Brazil South в штате Сан-Паулу (введён в эксплуатацию в 2014 году), а в 2020 году IT-гигант запустил Brazil Southeast в Рио-де-Жанейро.

Глава Microsoft Сатья Наделла (Satia Nadella) уже заявил о поддержке ИИ-трансформации страны и сообщил, что новые инвестиции компании в облака и ИИ обеспечат доступ к современным технологиям, а программы обучения будут способствовать получению новых навыков, которые станут драйвером процветания людей и экономики Бразилии в эру ИИ.

По данным компании, речь идёт о крупнейшей в истории компании единовременной инвестиции в стране. В числе прочего предусмотрено обучение 5 млн человек навыкам работы с ИИ в последующие три года.

Ещё в 2014 году Microsoft запустила облачный регион São Paulo Azure в бразильском муниципалитете Кампинас, а в 2021 году его расширили до трёх зон доступности. В 2023 году появилась информация, что компания дополнительно работает над объектами в городах Ортоландия (Hortolândia) и Сумаре (Sumaré) в штате Сан-Паулу. Также в 2020 году было объявлено о намерении открыть второй облачный регион в Рио-де-Жанейро, но позже проект переквалифицировали в «регион с зарезервированным доступом».

Источник изображения: Pedro Menezes/unsplash.com

В 2023 году Microsoft подписала с AES Brasil контракт на поставки возобновляемой энергии сроком на 15 лет, забор энергии предусмотрен с ветроэлектростанции Cajuína Wind Complex, находящейся в штате Риу-Гранди-ду-Норти (Rio Grande do Norte). Коммерческая эксплуатация началась в июле 2024 года.

Инвестирует в бразильскую цифровую инфраструктуру не только Microsoft. Пару недель назад появилась информация о том, что $1,8 млрд на расширение ЦОД в стране готовится выделить и AWS, а Scala Data Centers построит в бразильском штате Риу-Гранди-ду-Сул (Rio Grande do Sul) мегакампус ЦОД на 4,75 ГВт.

Научно-производственная компания (НПК) «Атроник» анонсировала так называемый модуль центрального процессора МЦП301-02, выполненный в формате MicroPC. Изделие предназначено для встраиваемых применений, где важно низкое энергопотребление. Доступно семейство типовых конструктивов для использования с периферийными модулями MicroPC.

Стандарт MicroPC, предложенный фирмой Octagon Systems в 1990 году, используется в вычислительных системах ответственного назначения. Благодаря оригинальной конструкции такие решения, как утверждает «Атроник», продолжают оставаться одними из наиболее устойчивых к воздействию жёстких внешних факторов на рынке встраиваемых компьютеров.

Источник изображения: «Атроник»

МЦП301-02 — модуль МЦП301 формата PC/104, укомплектованный платой-переходником PC/104 — MicroPC, осуществляющей вывод шины ISA на ножевой тыльный разъём и вывод интерфейсов ввода-вывода (Ethernet, COM, USB, GPIO, LPT) на лицевую сторону. Характеристики двух устройств идентичны, за исключением того, что МЦП301 имеет дополнительный интерфейс LVDS.

Применён двухъядерный x86-процессор Vortex86DX3, работающий на тактовой частоте 800 МГц. Есть 2 Гбайт напаянной памяти DDR3-533/667 ECC, 8 Гбайт флеш-памяти NAND и разъём для карт CompactFlash Type I/II. Реализована поддержка сетевых интерфейсов 100MbE и 1GbE, четырёх портов USB 1.1/2.0, четырёх последовательных портов, параллельного порта (LPT) с поддержкой режимов SPP/EPP, интерфейса D-Sub, двух портов DIO, а также GPIO (8 линий ввода/вывода) и 16-разрядной шины ISA.

Габариты МЦП301-02 составляют 124,5 × 123,8 × 32,0 мм, масса — 550 г. Заявленный показатель MTBF (средняя наработка на отказ) — 340 тыс. часов. Диапазон рабочих температур простирается от -40 до +85 °C. Обеспечивается совместимость с FreeDOS (предустановлена на изделиях), Linux Debian 9 (ядро 4.9) и ЗОСРВ «Нейтрино» (QNX).

Про ускорители Gaudi3 компания Intel достаточно подробно рассказала ещё весной этого года — 5-нм новинка стала дальнейшим развитием идей, заложенных в предыдущих поколениях Gaudi. Объявить о доступности новых ИИ-ускорителей Intel решила одновременно с анонсом новых серверных процессоров Xeon 6900P (Granite Rapids), которые в видении компании являют собой «идеальную пару». Впрочем, в компании признают лидерство NVIDIA, так что обещают оптимизировать процессоры для работы с ускорителями последней. А вот ускорителей Falcon Shores, вполне вероятно, с новой политикой Intel потенциальные заказчики не дождутся.

Источник изображений здесь и далее: Intel

На данный момент главной новостью является то, что в распоряжении Intel не просто есть некий ИИ-ускоритель с более или менее конкурентоспособной архитектурой и производительностью, а законченное и доступное заказчикам решение, уже успевшее привлечь внимание крупных производителей и поставщиков серверного оборудования.

Впрочем, на презентации были продемонстрированы любопытные слайды, в частности, касающиеся архитектуры и принципов работы блоков матричной математики (MME), тензорных ядер (TPC), а также устройство подсистемы памяти.

В последнем случае любопытен максимальный отход от иерархических принципов построения в пользу единого унифицированного пространства памяти, включающего в себя кеши L2 и L3, а также набортные HBM2e-стеки ускорителя. Общение с сетевым интерконнектом при этом организовано из пространства L3, что должно минимизировать задержки.

При этом сетевые порты доступны операционной системе как NIC через драйвер Gaudi3, с управлением посредством RDMA verbs. Благодаря большому количеству таких виртуальных NIC, организация интерконнекта внутри сервера-узла не требует никаких коммутаторов, а совокупная внутренняя производительность при этом достигает 67,2 Тбит/с.

Хотя основой экосистемы Gaudi3 станут в первую очередь ускорители HL-325L и UBB-платы HLB-325, есть у Intel и PCIe-вариант в виде FHFL-платы HL-338: 1,835 Пфлопс в режиме FP8 при теплопакете 600 Вт. Оно имеет только 22 200GbE-контроллера, а в остальном повторяет конфигурацию HL-325L с восемью блоками матричной математики (MME).

Эти ускорители получат пару портов QSFP-DD, каждый из которых будет поддерживать скорость 400 Гбит/с, а между собой платы в пределах одного сервера смогут общаться при помощи специального бэкплейна.

Важно то, что Gaudi3 успешно прошёл путь от анонса до становления сердцем полноценной аппаратно-программной экосистемы, в том числе благодаря ставке на программное обеспечение с открытым кодом. В настоящее время Intel в содействии с партнёрами могут предложить широчайший по масштабу спектр решений на базе Gaudi3 — от рабочих станций и периферийных серверов до вычислительных узлов, собирающихся в стойки, кластеры и даже суперкластеры.

В числе крупнейших партнёров Intel по новой экосистеме есть Dell и Supermicro, представившие серверные системы c Gaudi3. Начало массовых поставок этих систем запланировано на октябрь 2024 года. Вряд ли такие серверы будут развёртываться по одному, поэтому Intel рассказала о возможностях масштабирования Gaudi3-платформ.

Один узел с восемью OAM-модулями HL-325L, развивающий 14,7 Пфлопс в режиме FP8 и располагающий 1 Тбайт HBM станет основой для 32- и 64-узловых кластеров с 256 и 512 Gaudi3 на борту, благо нехватка пропускной способности сетевой части Gaudi3 не грозит — она составляет 9,6 Тбайт/с для одного узла. Из таких кластеров может быть составлен суперкластер с 4096 ускорителями или даже мегакластер, где их число достигнет 8192. Производительность в этом случае составит 15 Эфлопс при объёме памяти 1 Пбайт и совокупной производительности сети 9,8 Пбайт/с.

Типовой 32-узловой кластер на базе Gaudi3 Intel — это решение средней плотности с 15 стойками, содержащими не только вычислительные узлы, но и управляющие серверы, сетевые коммутаторы и подсистему хранения данных. Благодаря тому, что Intel в качестве интерконнекта для Gaudi3 избрала открытый и широко распространённый стандарт Ethernet (200GbE RoCE, 24 контроллера на ускоритель), не должно возникнуть проблем с совместимостью и привязкой к аппаратному обеспечению единственного вендора, как это имеет место быть c NVIDIA InfiniBand и NVLink.

Вкупе с программным обеспечением, основой которого является открытый OneAPI, и развитой системой техподдержки, системы на базе Gaudi3 станут надёжной основой для развёртывания ИИ-систем класса RAG, позволяющих заказчику в кратчайшие сроки запускать сети LLM с собственными датасетами без переобучения модели с нуля, говорит компания.

Именно в сферах, так или иначе связанных с большими языковыми моделями, Gaudi3 и системы на его основе должны помочь Intel укрепить свои позиции. Компания приводит данные, что Gaudi3 производительнее H100 примерно в 1,19 раза без учёта энергоэффективности, но в пересчёте «ватт на доллар» эти ускорители превосходят NVIDIA H100 уже в два раза.

Правда, H100 арсенал NVIDIA уже не ограничивается, но с массовой доступности новых решений Intel они могут оказаться привлекательнее. К тому же платформа совместима со всеми основными фреймворками, библиотеками и средствами управления. Впрочем, на примере AMD прекрасно видно, насколько индустрия привязана к решениям NVIDIA, причём в первую очередь программным.

Министр энергетики США Дженнифер Грэнхолм (Jennifer Granholm) дала понять, что не против того, чтобы технологические компании получали иностранные инвестиции на строительство ИИ ЦОД в США, что потенциально может стать ключевым голосом в поддержку инициатив гендиректора OpenAI Сэма Альтмана (Sam Altman) по привлечению зарубежных инвесторов для реализации дорогостоящих инфраструктурных проектов, пишет Bloomberg.

«Деньги — это экологично», — заявила Грэнхолм на конференции, проводившейся в четверг организацией Special Competitive Studies Project (SCSP, Специальный проект по конкурентным исследованиям), в ответ на вопрос о том, волнует ли правительство США, откуда поступает капитал. «Пока есть какие-то границы, я думаю, это нормально», — добавила она, подчеркнув, что любые соглашения о финансировании должны учитывать, какой доступ иностранные инвесторы будут иметь к интеллектуальной собственности, и гарантировать, что ЦОД будут построены в США.

В этом месяце Грэнхолм посетила круглый стол в Белом доме с участием Альтмана и других топ-менеджеров крупных игроков на рынке ИИ. Сэм Альтман прилагает значительные усилия, чтобы привлечь миллиардные суммы от инвесторов с Ближнего Востока и других регионов для расширения физической инфраструктуры, необходимой для поддержки будущего развития ИИ. Он также встречался с официальными лицами правительства США, чтобы заручиться их поддержкой.

Источник изображения: PiggyBank / Unsplash

Альтман и его команда намерены начать реализацию своего плана с привлечения инвестиций в США, который пойдут на строительство ЦОД, увеличение энергетических мощностей и расширение производства полупроводников.

После мероприятия в Белом доме компания OpenAI поделилась с правительством документом, в котором излагаются экономические и иные преимущества строительства крупных ЦОД в различных штатах США. По мнению Альтмана, это вопрос национальной безопасности. Руководители энергетических компаний заявили, что обеспечение электроэнергией таких ЦОД, каждый из которых будет потреблять такие же объёмы, как целый город, будет сложной задачей.

В ходе конференции Грэнхолм сказала, что Министерство энергетики США тесно сотрудничает с крупными ИИ-компаниями с тем, чтобы удовлетворить растущий спрос на электроэнергию со стороны ЦОД и создать «консьерж-сервис», который обеспечит им необходимую поддержку.

Компания Synergy Research Group обнародовала результаты анализа мировой облачной экосистемы в I половине 2024 года. Суммарные затраты в сегментах услуг и инфраструктуры достигли $427 млрд, увеличившись примерно на 23 % по сравнению с I полугодием 2023-го.

Отмечается, что в сегментах IaaS, PaaS и SaaS рост расходов в среднем составил 21 % в годовом исчислении. При этом по направлению корпоративных сервисов SaaS прибавка оказалась немногим менее 20 %.

Затраты на публичные и частные облачные дата-центры в течение января–июня 2024 года увеличились на 30 % по сравнению с тем же периодом 2023-го. Гиперскейлеры продолжают активно развивать свои инфраструктуры: их ёмкость выросла на 24 % год к году, а суммарный объём готовящихся к вводу мощностей подскочил на 47 %.

Источник изображения: Synergy Research Group

В сфере SaaS и облачных инфраструктурных услуг лидерами являются Microsoft, Amazon, Google и Salesforce. В сегменте оборудования и ПО для дата-центров значительную долю рынка занимают ODM-производители, услугами которых пользуются гиперскейлеры. Крупными игроками данного рынка также названы Dell, Microsoft, Supermicro и HPE. Отмечается, что позиции быстро укрепляет NVIDIA, поставляющая решения для платформ ИИ, в том числе напрямую гиперскейлерам.

С географической точки зрения безусловным лидером являются США, на которые в I полугодии 2024-го приходилось 44 % всей выручки от облачных услуг, 53 % ёмкости гиперскейлеров и 47 % рынка оборудования и ПО для облачных ЦОД. На долю китайских игроков приходится 8 % всей выручки от облачных услуг и 16 % мощностей гиперскейлеров.

Компания Uber намерена использовать кастомные Arm-процессоры Ampere Computing в облаке Oracle Cloud Infrastructure (OCI). В частности, компании займутся оптимизацией чипов для ИИ-задач. До недавнего времени Uber использовала преимущественно собственные ЦОД, но в 2022 году приняла решение перенести большую часть задач в облака.

С ростом количества ЦОД и зон доступности управлять IT-инфраструктурой Uber становилось всё сложнее. На ввод в эксплуатацию новой зоны порой требовались месяцы и сотни специалистов, поскольку управление серверами происходило чуть ли не «вручную», а инструменты автоматизации часто подводили. Рассмотрев различные варианты развития, Uber постепенно пришла к сотрудничеству с Ampere, Goolge и Oracle. А в феврале 2023 года компания подписала крупные семилетние облачные контракты с Google и Oracle.

По данным Uber, водители и курьеры компании выполняют более 30 млн заказов ежедневно. Для этого требуется большая IT-инфраструктура, например, для оптимизации маршрутов, в том числе с применением ИИ-технологий — ежесекундно к ИИ-моделям приходит 15 млн запросов. По оценкам Uber и Ampere, перенос нагрузок в OCI не только снизил инфраструктурные затраты, но и уменьшил энергопотребление на 30 %. Сейчас компании совместно работают над новыми чипами, выявляя, какие изменения в микроархитектуру стоит внести, чтобы будущие процессоры оптимально подходили для задач Uber.

Источник изображения: Denys Nevozhai/unsplash.com

Собственные Arm-процессоры разрабатывают AWS, Google Cloud и Microsoft Azure — Graviton, Axion и Cobalt 100 соответственно. Однако кастомизацией под конкретного клиента, пусть даже крупного, они не занимаются. Тем не менее, эксперты IDC считают, что облачные клиенты безусловно выиграют от совместной подготовки с разработчиками чипов новых полупроводниковых решений. Клиенты могут обладать специфическими знаниями и интеллектуальной собственностью, но как правило не имеют возможности самостоятельно вывести на рынок готовый продукт.

Сейчас Uber переносит тысячи микросервисов, многочисленные платформы хранения данных и десятки ИИ-моделей в OCI. Компания уже перевела значительную часть бессерверных рабочих нагрузок на платформы на базе Ampere. Впрочем, дело не ограничивается только Ampere — компания также активно использует инстансы на базе чипов AMD.

Американская инвестиционная компания Blackstone намерена потратить £10 млрд ($13,4 млрд) на масштабный ИИ ЦОД в Великобритании. По данным The Register, объект, названный «крупнейшим в Европе ИИ ЦОД», появится на северо-востоке Англии на месте остановленного завода BritishVolt. Буквально на днях DC01UK тоже представила план строительства за £3,75 млрд ($4,9 млрд) в Хартфордшире одного из крупнейших ИИ ЦОД в регионе.

Проект Blackstone поможет создать 4 тыс. рабочих мест, 1,2 тыс. из которых связаны со строительством дата-центра. Помимо вложения £10 млрд в строительство объекта Blackstone обязалась потратить ещё £110 млн на переподготовку персонала для эксплуатации ЦОД и модернизацию транспортной инфраструктуры в регионе. Впрочем, львиная доля средств уйдёт на ИИ-ускорители, но какие именно, пока не уточняется.

По словам премьер-министра Великобритании Кира Стармера (Keir Starmer), инвестиции Blackstone такого уровня сами по себе являются своеобразным «вотумом доверия» Великобритании и служат доказательством того, что страна вновь стала крупным мировым игроком, открытым для бизнеса. Британские власти немало делают для того, чтобы привлечь инвестиции в местную инфраструктуру. Страна причислила ЦОД к критической национальной инфраструктуре (CNI) с государственной поддержкой.

Источник изображения: Heidi Fin/unsplash.com

Бизнес по сдаче в аренду ИИ-инфраструктуры стал весьма прибыльным во всём мире, поэтому ничего необычного в интересе к нему инвестиционной компании нет. Ранее в The Next Platform подсчитали, что вложение около $1,5 млрд в строительство, развёртывание и сетевое подключение ЦОД за четыре года способны принести $5,27 млрд выручки. Похожий уровень возврата инвестиций прогнозирует и сама NVIDIA. Но в этом деле нужен грамотный подход, чтобы не получилось как в Китае, где наспех построенные ИИ ЦОД оказались невостребованными.

Впрочем, Blackstone — не новичок в отрасли. Весной компания присоединилась к BlackRock и другим инвесторам, чтобы вложить $7,5 млрд в долговое финансирование CoreWeave, сдающей вычислительные мощности ускорителей в аренду. Пока нет данных, захочет ли Blackstone действовать без посредников и представить собственное облако или компания намерена привлечь бизнес вроде CoreWeave к реализации своего проекта. Стоит отметить, что последняя в начале 2024 года анонсировала проект строительства своей европейской штаб-квартиры в Лондоне и двух ИИ ЦОД за £1 млрд.

Компания Seeed Studio, по сообщению CNX-Software, представила плату reServer Industrial J501, рассчитанную на подключение вычислительного модуля NVIDIA Jetson AGX Orin. Новинка предназначена для создания периферийных устройств с ИИ-функциями, таких как роботы, всевозможные встраиваемые решения и пр.

Может быть задействовано изделие Jetson AGX Orin с 32 и 64 Гбайт памяти LPDDR5. В первом случае используется GPU с 1792 ядрами Ampere и 56 тензорными ядрами, во втором — с 2048 ядрами Ampere и 64 тензорными ядрами. ИИ-производительность достигает соответственно 200 и 275 TOPS.

Плата reServer Industrial J501 располагает двумя портами SATA-3 и коннектором M.2 Key M (PCIe 4.0; NVMe) для SSD. Есть слот Mini PCIe для модуля LoRaWAN/4G, разъём M.2 Key B (3042/3052) для сотового модема 4G/5G (есть слот Nano SIM) и разъём M.2 Key E для адаптера Wi-Fi/Bluetooth. Реализованы сетевые порты 1GbE и 10GbE на базе коннекторов RJ-45.

Источник изображения: Seeed Studio

В набор доступных интерфейсов входят: HDMI 2.1 Type-A с поддержкой разрешения до 7680 × 4320 пикселей, по одному порту USB 3.1 Type-C (Host Mode) и USB 2.0 Type-C (Device Mode), три порта USB 3.1 Type-A, последовательный порт RS-232/422/485, колодка GPIO/DIO (4 × DI, 4 × DO, 3 × GND_DI, 2 × GND_DO, 1 × GND_ISO, 1 × CAN). Возможно подключение опциональных плат расширения с поддержкой восьми камер GMSL (Gigabit Multimedia Serial Link).

Размеры reServer Industrial J501 составляют 176 × 163 мм, масса — 225 г (без вычислительного модуля). Диапазон рабочих температур простирается от -25 до +60 °C. Питание подаётся от сетевого адаптера на 24 В / 5 A. Новинка предлагается по ориентировочной цене $379.

Облачная платформа Oracle Cloud Infrastructure (OCI) задействовала ускорители AMD Instinct MI300X и открытый программный стек AMD ROCm в составе новейших инстансов BM.GPU.MI300X.8. Они предназначены для ресурсоёмких ИИ-нагрузок, включая обработку больших языковых моделей (LLM), насчитывающих сотни миллиардов параметров.

Инстансы BM.GPU.MI300X.8 типа Bare Metal объединяют восемь ускорителей Instinct MI300X, каждый из которых несёт на борту 192 Гбайт памяти HBM3 с пропускной способностью 5,3 Тбайт/с. Утверждается, что модель Hugging Face OPT с 66 млрд параметров может быть запущена на одном Instinct MI300X.

В составе инстансов задействованы два процессора Intel Xeon Sapphire Rapids с 56 ядрами. Объём оперативной памяти DDR5 составляет 2 Тбайт. Для хранения данных используются восемь NVMe SSD вместимостью 3,84 Тбайт каждый. Инстансы включают frontend-сеть с пропускной способностью 100 Гбит/с, а в составе кластера применяются соединения уровня 400G (×8).

Источник изображения: AMD

Стоимость подписки на BM.GPU.MI300X.8 составляет $6/час за каждый ускоритель. Платформа OCI Supercluster на базе AMD Instinct MI300X может объединять до 16 384 ускорителей, что позволяет заказчикам гибко масштабировать вычислительные ресурсы под свои задачи, говорит компания. Отмечается, что появление новых инстансов предоставит клиентам OCI больше возможностей в плане организации высокопроизводительных и эффективных вычислений при реализации сложных ИИ-проектов.

Кроме того, компания предлагает и кластеры с ускорителями NVIDIA: 32 768 × A100, 16 384 × H100, 65 536 × H200 и 3840 × L40S. А в I половине 2025 года заказчикам станет доступен зеттафлопсный облачный ИИ-суперкомпьютер из 131 072 ускорителей NVIDIA B200 (Blackwell).

Глобальный рынок продуктов, связанных с ИИ, включая услуги и оборудование, будет расти на 40–55 % в год с $185 млрд в прошлом году и достигнет $780–990 млрд в 2027 году, сообщается в пятом ежегодном «Глобальном технологическом отчёте» (Global Technology Report) консалтинговой фирмы Bain & Co, передаёт Bloomberg.

Драйверами роста рынка в Bain назвали более крупные ИИ-системы и более крупные ЦОД для их обучения и эксплуатации. ИИ понадобится компаниям и правительствам для повышения эффективности работы. Спрос растёт столь быстро, что это ударит по цепочкам поставок компонентов, включая чипы, а на фоне геополитической напряжённости может спровоцировать дефицит полупроводников, персональных компьютеров и смартфонов, предупредили в Bain.

Источник изображений: bain.com

По оценкам консалтинговой фирмы, спрос на проектирование интегральных схем и связанную с этим интеллектуальную собственность может вырасти на 30 % и более к 2026 году, что окажет давление на производителей. Стоимость крупных ЦОД может подскочить через пять лет с $1–$4 млрд в настоящее время до $10–$25 млрд, поскольку их мощность увеличится до 1+ ГВт с 50–200 МВт в настоящее время.

«Ожидается, что эти изменения будут иметь огромные последствия для экосистем, которые поддерживают ЦОД, включая проектирование инфраструктуры, выработку электроэнергии и охлаждение», — говорится в заявлении консалтинговой компании.

Компании перешли от этапа экспериментов к масштабированию генеративного ИИ, указано в отчёте Bain. Малые языковые модели (SLM), более «лёгкие» и эффективные в сравнении с LLM, могут быть более предпочтительны для предприятий и стран, что связано с меньшим объёмом затрат и опасениями по поводу конфиденциальности.

Правительства ряда стран, включая Канаду, Францию, Индию, Японию и ОАЭ, тратят миллиарды долларов на субсидирование суверенного ИИ, инвестируя в национальную вычислительную инфраструктуру и ИИ-модели, созданные в пределах их границ и обученные на собственных данных. Но создание успешных суверенных экосистем ИИ будет трудоёмким и дорогим, считают в Bain.