Опыт японской компании Fujitsu в разработке процессоров и суперкомпьютеров велик и многогранен. Долгое время основной архитектурой для решений Fujitsu была SPARC64, но времена меняются: в 2018 году компания анонсировала разработку собственного процессора на базе архитектуры Arm. Сегодня этот чип мы знаем под именем A64FX.

В 2020 году японский кластер Fugaku на основе 48-ядерных A64FX с интегрированными HBM-памятью и интерконнектом занял первое место в рейтинге TOP500 с результатом 537,2 Пфлопс. Однако эти процессоры, которые всё ещё достойно трудятся не только в Fugaku, но и в других суперкомпьютерах, трудно назвать действительно универсальным и доступным.

Источник изображений: Fujitsu

Важность архитектурных нововведений и смену IT-ландшафта в Fujitsu прекрасно осознают. Поэтому компания объявила о разработке нового серверного процессора под кодовым именем MONAKA, для которого она намеревается вдвое увеличить показатели производительности и энергоэффективности, а также учесть растущую популярность задач класса ИИ. А совсем недавно Fujitsu впервые более детально рассказала о технических особенностях будущих CPU.

Во-первых, разработчики нового процессора хорошо осознают ограничения, накладываемые текущей транзисторной технологии. Похоже, из FinFET и её аналогов выжаты все или почти все соки и для прорывных решений нового поколения данная технология не подходит. В процессорах MONAKA будут использоваться транзисторы с затвором нового типа, так называемые GAA (Gate-all-Around). Похоже, речь идёт о технологии, которую разрабатывает и собирается внедрить в производство уже в следующем году Samsung в рамках 2-нм техпроцесса SF2.

Внедрение 2-нм GAA-транзисторов позволит снизить паразитную ёмкость, а значит, добиться больших тактовых частот при меньшем напряжении питания. При этом новая технология будет применена не только в процессорных ядрах, но и в сборках кеш-памяти, также спроектированных с использованием собственного инструментария Fujitsu.

Во-вторых, MONAKA изначально проектируется как модульный процессор. В центре разместится IO-кристалл, содержащий контроллеры DDR5 (12 каналов) и PCI Express 6.0/CXL 3.0. Окружать его будут сборки из 5-нм кристаллов кеш-памяти SRAM и расположенных поверх 2-нм кристаллах с процессорными ядрами. По вертикали соединение обеспечит технология TSV, а по горизонтали — кремниевая подложка-интерпозер. Фактически речь идёт о 3D-компоновке.

12-канальная подсистема памяти обеспечит отсутствие узких мест: у A64FX проблем с пропускной способностью благодаря использованию HBM2 не было, но объем самой памяти был ограничен 32 Гбайт. Зато у MONAKA проблем с расширением не будет — как с помощью классических модулей DIMM, так и посредством банков памяти CXL, благо, за основу сразу взята версия PCIe 6.0 с пропускной способностью 256 Гбайт/с в режиме x16. Сколько будет самих линий, пока не уточняется.

Новая платформа изначально проектируется двухсокетной, при этом в количестве ядер Fujitsu также не скромничает: процессоры MONAKA получат 144 ядра, а благодаря новому 2-нм техпроцессу они будут не такими уж горячими. Им хватит воздушного охлаждения, говорят создатели. Процессоры получат набор инструкций Armv9-A с векторными расширениями SVE2 и технологией доверенных вычислений Confidential Computing. Скорее всего, без кастомных инструкций не обойдётся и в этот раз.

Последнее особенно важно ввиду того, что MONAKA предназначены не только для рынка HPC, но и для использования в облачных средах. Подсистема конфиденциальных вычислений позволяет шифровать содержимое каждой виртуальной машины собственным ключом, так что доступа к внутренностям ВМ не будет даже у владельцев ЦОД. Впрочем, современные HPC-комплексы всё чаще используют именно облачный подход для доступа к ресурсам.

Несмотря на популярность GPU и других специализированных ускорителей, Fujitsu считает, что гетерогенная архитектура имеет существенные недостатки — она заметно дороже, особенно с учётом ценовой политики производителей, склонна к неполной утилизации ресурсов, а также не слишком экономична и зачастую требует специфических систем охлаждения. Компания полагает, что гомогенная архитектура MONAKA этих недостатков лишена и в сочетании с ПО Fujitsu может успешно обрабатывать ИИ-нагрузки.

В программной части Fujitsu активно полагается на решения с открытым кодом. Процессоры MONAKA будут отвечать стандартам Arm System Ready и получат полноценную поддержку Linux и сопутствующего инструментария, в частности, GCC, glibc, live-patch, papi и т.д. Разработка ведётся в тесном содружестве с Linaro, организацией, занимающейся консолидацией открытого ПО для Arm, а также с альянсом UXL. Для MONAKA компания подготовит, например, оптимизированную библиотеку OpenBLAS.

Также Fujitsu уделяет внимание экологии: напомним, одной из главных черт нового процессора будет его экономичность, что отвечает целям японской национальной программы NEDO, ставящей своей целью достижение 40 % снижения энергопотребления ЦОД к 2030 году.

Что касается начала поставок MONAKA, здесь всё идёт по плану: первые партии новых процессоров найдут своё место в серверах и вычислительных узлах уже в 2027 году. Это вполне согласуется с циклом разработки PCI Express, согласно которому появления решений PCIe 6.0 на рынке следует ожидать не ранее 2025 года.

Несмотря на появление в Московском регионе новых ЦОД, стоимость аренды стойко-мест выросла, пишет «Коммерсантъ» со ссылкой на совместное исследование iKS-Consulting и 3data.

Так, в Московском регионе во II квартале цены на услуги ЦОД выросли год к году на 23 %, до 130 тыс. руб./мес. за аренду стойко-места. Вместе с тем в Санкт-Петербурге и Ленинградской области цены почти не изменились — около 88,6 тыс. руб./мес. за стойко-место. В конце 2023 года средняя цена в Москве составила около 107,4 тыс. руб., а в Санкт-Петербурге — 84,1 тыс. руб.

Авторы исследования объясняют рост цен вводом в эксплуатацию двух новых ЦОД — «Москва-2», который принадлежит «Росатому» («Атомдата»), и «Магистральный» компании Datahouse (стройгруппа ФСК), установивших цены выше, чем у других. Ещё один ЦОД PNK, находящийся под управлением 3data, как ожидается, перейдёт в собственность «Ростелекома».

Источник изображения: atomdata.ru

Оказалось, что запуск новых ЦОД не только не снижает среднюю цену на конкурентном рынке, а, наоборот, повышает её. В «Ростелеком-ЦОД» считают, что нет никаких предпосылок к снижению средней рыночной цены в 120–140 тыс. руб. за аренду стойко-места. Один из основных факторов, который влияет на цену, в компании назвали ключевую ставку ЦБ, с ростом которой цены не могут снижаться. Также влияет на цену стоимость оборудования, стоимость которого не становится ниже. В «Атомдата» тоже не ожидают в ближайшем будущем «существенных ценовых колебаний».

В начале июня 2024 года в Бишкеке открыли первый коммерческий ЦОД на 100 стойко-мест, соответствующий уровню надёжности Uptime Institute Tier III, сообщила инжиниринговая компания DataTime (ООО «ДатаТайм»), которая будет управлять новым объектом.

ЦОД такого уровня надёжности в Кыргызстане был только у Национального банка Кыргызской Республики. Теперь возможность размещать ИТ-оборудование и сервисы в высоконадежном дата-центре появилась и у госорганов, и у корпоративного бизнеса Кыргызстана, отметила DataTime. По словам главы ООО «ДатаТайм», новый ЦОД позволит банкам, ретейлу и госсектору увеличить отказоустойчивость работы своих ИТ-сервисов, а также обеспечит возможность более надёжного и защищённого хранения цифровых данных.

Источник изображений: datadome.ru

Новый ЦОД рассчитан на 100 серверных стоек суммарной мощностью более 500 кВт, с возможностью расширения в будущем ещё на 20 серверных стоек. Системы кондиционирования ЦОД зарезервированы по схеме N+1, система бесперебойного энергоснабжения — по схеме 4/3N. Для электроснабжения имеются две подстанции. Также есть система ИБП с аккумуляторными батареями, способная обеспечить автономную работу ЦОД в течение 10 минут, и две дизель-генераторные установки мощностью 1 МВт с запасом топлива на 12 часов работы.

В качестве технического заказчика в процессе создания дата-центра выступала компания DataDome (ООО «ДатаДом»), специалисты которой разработали техническое задание на проектирование. DataDome осуществляла сопровождение процесса проектирования стадии РД, а также контроль сроков проектирования и строительства, качества проведения строительно-монтажных работ и соблюдения бюджета проекта.

Компания Amazon сообщила о снижении углеродных выбросов в 2023 году второй год подряд. По данным Bloomberg, представители IT-гиганта объясняют это сокращением затрат на новые склады и дата-центры для облачных ИИ-вычислений.

В прошлом году выбросы парниковых газов упали на 3 % до 68,82 млн тонн в CO₂-эквиваленте. Снижение во многом обусловлено 13 % падением выбросов, связанных со средствами производства, включая строительство и закупки оборудования. Капитальные расходы в 2023 году упали на $10 млрд в связи с избытком складских мощностей, появившегося во время пандемии COVID-19, и сокращением расходов на дата-центры AWS.

Данные, опубликованные Amazon, контрастируют со статистикой Microsoft и Google, пытающихся снизить выбросы на фоне роста ресурсоёмких дата-центры для ИИ. Впрочем, Amazon пообещала потратить $150 млрд на ИИ ЦОД в ближайшие 15 лет, поэтому в будущем, возможно, её будут ждать те же проблемы. Запутанная и масштабная логистика Amazon обеспечивает приблизительно тот же уровень выбросов, что и все операции Google вместе взятые, при этом Amazon отдельно не раскрывает статистику по выбросам AWS.

Источник изображения: Tim van der Kuip/unsplash.com

Пока компания намерена свести к нулю углеродные выбросы к 2040 году. Отчасти этому уже помогают 100 тыс. электрических фургонов Rivian. Кроме того, компания пытается использовать более экобезопасное авиационное топливо, экологически чистые бетон и сталь в своих зданиях. Для того, чтобы продемонстрировать эффект от новых инициатив, компания включила соответствующие экометрики в свои процессы планирования.

Источник изображения: Amazon/Bloomberg

В Amazon подчёркивают, что процесс декарбонизации непрост, но теперь компания располагает инструментами, которых ещё пару лет назад просто не было. Наконец, в 2023 году компания закупила достаточно возобновляемой энергии, чтобы целиком компенсировать собственное энергопотребление. Впрочем, речь о покупке сертификатов на возобновляемую энергию (СВЭ). Фактически объекты компании могут быть запитаны от любых источников энергии, при этом подобные кредиты далеко не всегда способствуют снижению выбросов.

Так или иначе Amazon сегодня является одним из главных сторонников использования возобновляемой энергии и, как заявляют в компании, подобные СВЭ покупаются, чтобы поддержать «зелёные» проекты. Интенсивность выбросов углерода компанией на каждый заработанный доллар упала на треть с тех пор, как Безос обнародовал свои экологические цели в 2019 году. За тот же период выбросы в абсолютном выражении выросли на 34 %.

«Сбер» и BitRiver, оператор майнинговых дата-центров и импортёр майнингового оборудования, объявили о стратегическом сотрудничестве с целью наиболее эффективной реализации проектов цифровой трансформации. В рамках партнёрства стороны планируют взаимодействовть в области применения передовых практик создания и развития цифровых технологий в сферах обработки данных, сопровождения компьютерных систем и смежных направлениях.

Также предполагается взаимодействие компаний в развитии ИИ-технологий, повышении качества обслуживания в области цифровых сервисов, снижении издержек на обслуживание благодаря применению инновационных технологий и повышению эффективности работы сотрудников. Предусмотрена реализация совместных образовательных и популяризирующих проектов в области цифровых технологий и ИИ.

Источник изображения: BitRiver

«Формирование цифровой экономики — это вопрос национальной безопасности и независимости страны. Сегодня производительность труда напрямую связана с цифровизацией и использованием ИИ», — отметил глава BitRiver. Он добавил, что совместная работа со «Сбером» над реализацией проектов позволит BitRiver сделать ещё один шаг на пути к усилению цифрового и финансового суверенитета России.

Как сообщается в пресс-релизе, в I полугодии 2024 года Россия заняла второе место на мировом рынке майнинга, опередив США по темпам роста. Энергоёмкие блокчейн-вычисления усилили позиции страны в области финансов и ИТ, также была создана база для реализации масштабных проектов в области ИИ. BitRiver называет себя крупнейшим оператором майнинговых дата-центров в РФ — она управляет 15 ЦОД общей ёмкостью 533 МВт.

AWS объявила о доступности инстансов EC2 R8g на базе Arm-процессоров Graviton4. По сравнению с Graviton3 они обладают на 30 % большей вычислительной мощностью, имеют на 50 % больше ядер и на 75 % выше пропускную способность памяти, говорит AWS. Также сообщается, что процессоры Graviton4 до 30 % быстрее в обработке веб-приложений, на 40 % быстрее в работе с базами данных и на 45 % быстрее при запуске больших Java-приложений, чем Graviton3.

Инстансы Amazon EC2 R8g позволяют повысить производительность приложений, интенсивно использующих ресурсы памяти, включая высокопроизводительные СУБД, in-memory кеши и системы аналитики Big Data в режиме реального времени. Впрочем, согласно подсчётам The Next Platform, новые инстансы по сравнению с прошлыми по соотношению цены и производительности стали на четверть дороже.

Источник изображений: AWS

По сравнению с EC2 R7g инстансы R8g предлагают более крупные конфигурации: в три раза больше vCPU (до 192 шт.), в три раза больше памяти (до 1,5 Тбайт) и в два раза больше L2-кеша. Инстансы R8g также обеспечивают пропускную способность сети до 50 Гбит/с и пропускную способность EBS до 40 Гбит/с по сравнению с 30 Гбит/с и 20 Гбит/с соответственно у инстансов прошлого поколения. Кроме того, Amazon EC2 R8g — первые инстансы на чипах Graviton, предлагающие две крупные конфигурации bare metal (metal-24xl и metal-48xl).

Как сообщила компания, инстансы R8g идеально подходят для всех рабочих нагрузок на базе Linux, включая контейнерные приложения и приложения на основе микросервисов, созданные с использованием EKS, ECS, ECR, Kubernetes, и Docker, а также приложения, написанные на C/C++, Rust, Go, Java, Python, .NET Core, Node.js, Ruby и PHP. Новые инстантсы используют AWS Nitro.

По словам AWS, с момента анонса превью R8g более 100 клиентов, включая Epic Games, SmugMug, Honeycomb, SAP и ClickHouse, протестировали свои рабочие нагрузки на этих инстансах и отметили значительное улучшение производительности по сравнению с сопоставимыми экземплярами на Graviton3.

В настоящее время R8g доступны в регионах AWS US East (Северная Вирджиния), US East (Огайо), US Wes (Орегон) и Europe (Франкфурт). Они доступны как по запросу, так в качестве спотовых и зарезервированных инстансов, а также в рамках планов Savings. На текущий момент у AWS есть уже более 2 млн процессоров Graviton разных поколений, а инстансами на их основе пользуются более 50 тыс. клиентов.

В мире ожидается рост энергопотребления системами, связанными с генеративным ИИ. По данным HPC Wire, в следующие пять лет расход электричества на такие системы составит 1,5 % от общемирового — это весьма значимая доля, говорят эксперты.

Соответствующее предположение выдвинули аналитики TechInsights. За основу взяты прогнозы Управления энергетической информации США (US Energy Information Administration, EIA) на 2025–2029 гг., в которых глобальное энергопотребление за этот период, по оценкам, составит 153 тыс. ТВт∙ч. Исследователи предполагают, что за то же время на ИИ-ускорители придётся 2318 ТВт∙ч.

Расчёты исходят из того, что каждый ускоритель требует 700 Вт, а потребление флагманских NVIDIA Blackwell и вовсе составляет 1200 Вт, хотя новинки намного производительнее решений прошлых поколений. При составлении прогнозов учитывается лишь энергопотребление самих ускорителей — без модулей памяти, сетевого оборудования и прочих компонентов ИИ-систем. По мнению экспертов, «придётся попотеть», чтобы оправдать такие расходы.

Источник изображения: Pixabay/pexels.com

Согласно опросам McKinsey, 65 % респондентов намерены использовать генеративный ИИ. Для того, чтобы удовлетворить спрос, вкладываются огромные деньги в соответствующую отрасль. Если Microsoft полагается в основном на решения NVIDIA, то Meta✴ реализует и собственный проект, а её вычислительная экосистема будет эквивалентна около 600 тыс. H100. По данным TechInsights, в 2023 году NVIDIA поставила порядка 3,76 млн ускорителей — в сравнении с 2,6 млн в 2022 году.

В прошлом году Gartner выступила даже с более смелым прогнозом — по её мнению, ИИ, возможно, будет потреблять и 3,5 % мирового электричества. Впрочем, методика компании не вполне ясна и, возможно, включает энергозатраты на сопутствующую экосистему помимо ускорителей. При этом расходы на электроэнергию в любом случае будут расти, а в случае дефицита поставщики энергии будут просто поднимать цены, а не пытаться разделить доступные мощности между потребителями.

Поэтому сейчас всё острее становится вопрос разумного использования энергии. Так, на криптомайнинг в США, по данным EIA, приходится 2,3 % всего энергопотребления в стране, но эксперты сходятся во мнении, что использовать ресурсы для работы ИИ-систем намного рациональнее. Впрочем, и сами майнеры активно переключаются на ИИ-проекты. Кроме того, переход на СЖО и утилизация «мусорного» повышают общую энергоэффективность ЦОД.

Но есть и другой путь. Так, Microsoft совместно с производителями «железа» довольно агрессивно продвигает т.н. ИИ ПК (AI PC), оснащённые NPU или иными ускорителями для локальных ИИ-вычислений. Это фактически позволяет перенести часть нагрузок на клиентские устройства, а в облаке обсчитываются те задачи, которые устройствам не под силу. Apple использует похожий подход.

Принадлежащий компании KKR оператор ЦОД CyrusOne получил в этом году кредитов на сумму порядка $8 млрд. Datacenter Dynamics сообщает, что новая кредитная линия Warehouse Credit Facility на $7,9 млрд дополнит уже имеющуюся линию Revolving Credit Facility на $1,8 млрд, открытую в мае 2024 года.

Warehouse Credit Facility в первую очередь предназначена для финансирования существующих и будущих проектов строительства ЦОД в США, а Revolving Credit Facility — на обеспечение оборотного капитала и общекорпоративные цели.

Источник изображения: CyrusOne

По словам главы по инвестициям CyrusOne Фрэн Федерман (Fran Federman), интерес со стороны заёмщиков — подтверждение прочности бизнеса компании и уверенности в её возможности продолжать развитие. По её словам, обе программы финансирования рассчитаны на устойчивое развитие. Условия кредитования будут меняться в зависимости от достижения компанией целевых показателей по выбросам парниковых газов.

Morgan Stanley, TD Securities и KKR Capital Markets выступили ведущими организаторами, стоящими за кредитной линией Warehouse Credit Facility, а Wells Fargo — за линией Revolving Credit Facility. В рамках сделок с компанией тесно сотрудничала и Global Infrastructure Partners (GIP), которая частично владеет CyrusOne и которая вскоре будет выкуплена BlackRock.

CyrusOne владеет десятками ЦОД на 13 региональных рынках США. Только в 2024 году она подала заявки на строительство кампусов в Чикаго (Иллинойс), Нью-Олбани (Огайо), а также начала строительство новых объектов в Сан-Антонио (Техас). В Аризоне власти города Меса рассмотрят предложение о строительстве компанией нового кампуса на 5 дата-центров в окрестностях Финикса. В 2018 году CyrusOne приобрела участок земли у Sunbelt Investment Holdings Inc. за $19,3 млн, а в прошлом году подала заявку на возведение кампуса.

Венчурная инвестиционная компания Andreessen Horowitz (a16z) получила тысячи современных ускорителей, включая большое количество NVIDIA H100. The Information сообщает, что компания создаёт собственные запасы для привлечения к сотрудничеству ИИ-стартапов. Компания явно не согласна с позицией венчурного фонда Sequoia Capital и аналитиков Goldman Sachs, которые опасаются, что нынешний бум ИИ — лишь пузырь.

Инвестор имеет в управлении активы на $42 млрд. Как сообщают СМИ со ссылкой на источники, знакомыми с делами компании, своим подопечным компания сдаёт в аренду запасённые ускорители. Пока нет сведений, идёт ли речь о наполнении складов или компания только арендует их для передачи в субаренду. В будущем Andreessen Horowitz намерена получить более 20 тыс. ускорителей. Компания рассматривает оборудование как критически важный актив для дальнейшего развития бизнеса.

Источник изображения: NVIDIA

На запросы журналистов Andreessen Horowitz и NVIDIA пока не отвечают. Уже не в первый раз ИИ-ускорители используются не вполне традиционным способом по мере того, как нарастает ажиотаж на рынке ресурсоёмких вычислений, связанных с искусственным интеллектом. Например, в прошлом августе облачный стартап CoreWeave, поддерживаемый NVIDIA, получил в долг $2,3 млрд под залог крупной партии NVIDIA H100 для покупки ещё большего количества ускорителей.

В условиях дефицита ускорителей стартапам предлагаются различные варианты решения проблемы. Так, Alibaba Cloud предлагает ИИ-стартапам GPU-мощности в обмен на долю в компании, а AWS готова выделить им миллионы долларов, но в виде кредитов для оплаты ресурсов в своём же облаке. Некоторые стартапы сами готовы поделиться интеллектуальной собственностью в обмен на доступ к ускорителям.

ИИ-стартап Илона Маска (Elon Musk) xAI отказался от планов по расширению сотрудничества с Oracle. Как пишет The Wall Street Journal, во вторник миллиардер сообщил в соцсети X, что xAI прекратил переговоры с облачным провайдером о сделке на $10 млрд по поводу расширения аренды вычислительных мощностей, поскольку стартап сам построит «самый мощный кластер для обучения [ИИ-моделей] в мире с большим запасом».

Сообщивший ранее о срыве сделки ресурс The Information рассказал, что многолетнее соглашение об аренде у Oracle запланированного к строительству суперкомпьютера на чипах NVIDIA уже было на стадии подписания, но переговоры зашли в тупик из-за того, что Маска не устроили сроки строительства, предложенные Oracle. Oracle же заявила об отсутствии доступа к адекватному источнику энергии для работы ИИ-суперкомпьютера в выбранном xAI регионе.

Источник изображения: xAI

В итоге Маск заявил, что «самый мощный суперкомпьютер в мире» будет построен стартапом в Мемфисе (штат Теннесси, США) и начнёт работу осенью 2025 года. Ранее Маск сообщил, что в течение следующих нескольких месяцев xAI развернёт кластер из 100 тыс. ускорителей NVIDIA H100 с жидкостным охлаждением, а летом следующего года запустит ещё один кластер из 300 тыс. ускорителей NVIDIA B200.

Как отметил ресурс Data Center Dynamics, xAI уже арендует у Oracle около 16 тыс. ускорителей NVIDIA, что делает его одним из крупнейших клиентов провайдера облачных услуг. Стартап также использует для работы сервисы AWS и резервные мощности в ЦОД соцсети X (Twitter). Oracle также предоставляет свою ИИ-инфраструктуру Microsoft и OpenAI.