Озабоченность экоактивистов вероятным воздействием ЦОД на природу штата Вирджиния (США) стала ещё серьёзнее. Financial Times сообщает, что потребление воды дата-центрами выросло почти на ⅔ в сравнении с 2019 годом, а рост спроса на ИИ только ухудшает положение.

Северная Вирджиния давно считается мировой столицей ЦОД, там работает порядка 300 соответствующих объектов. По данным Financial Times, за последние пять лет потребление воды в некоторых округах выросло почти на ⅔ — соответствующие данные были собраны энтузиастами благодаря законам о свободе информации, передаёт The Register. Около 7 млн м³ воды было использовано в 2023 году, тогда как в 2019 году — около 4,3 млн м³. В ЦОД вода используется в основном для охлаждения.

В обозримом будущем ожидается рост расхода воды, связанный с ИИ, поскольку соответствующее оборудование потребляет всё больше энергии и работает безостановочно. Так, на одну беседу с ChatGPT уходит примерно поллитра воды. При этом некоторые ЦОД находятся в регионах с дефицитом питьевой воды — даже части Вирджинии страдают от засух. Более того, во время засух и жаркой погоды дата-центрам требуется больше воды, чем обычно.

Источник изображения: Jack B/unspalsh.com

Хотя именно в Вирджинии, согласно данным Northern Virginia Technology Council, с 2015 по 2023 гг. ёмкость объектов увеличилась в пять раз. Экоактивисты, политики и просто неравнодушные граждане, обеспокоенные тем, что ЦОД занимают всё больше земли и тратят всё больше энергии и воды, сформировали НКО Virginia Data Center Reform Coalition в попытке остановить бесконтрольный рост дата-центров в штате.

Так, в одном из отчётов заявляется, что ЦОД, обслуживаемые коммунальными службами только в округе Лаудон (Loudoun) Северной Вирджинии, увеличили использование питьевой воды более чем на 250 % с 2019 по 2023 гг. Впрочем, представитель компании Aquatech заявил, что большинство ЦОД в округе используют переработанные сточные воды, которые иначе просто слили бы в Чесапикский залив, а многие новые ЦОД вообще не забирают воду для охлаждения.

Крупнейшие операторы вроде AWS берут на себя обязательства по снижению потребления воды, компания ещё в 2022 году анонсировала намерение стать «водно-положительной» к 2030 году. Впрочем, в Microsoft, наоборот, признали, что в прошлом году потребление воды на её объектах выросло на треть — виной тому именно развитие генеративных ИИ-систем. Дефицит водных ресурсов наблюдается и в других регионах. Так, британская Thames Water пригрозила урезать подачу воды дата-центрам или взвинтить цены.

Новые данные Synergy Research Group свидетельствуют о том, что на 20 ключевых рынков ЦОД гиперскейлеров приходится 62 % всей IT-ёмкости. Портал агентства сообщает, что только на Северную Вирджинию и Пекин с прилегающими территориями приходится 22 %. В пятёрку вошёл регион «Большого Дублина» и американские штаты Орегон и Айова, а также Шанхай с окрестностями. Из 20 основных рынков 13 расположены в США, 4 — в Азиатско-Тихоокеанском регионе и 3 — в Европе.

Доля рынков, не попавших в Топ-20, составляет ещё 18 %. В этом сегменте лучше показали себя Европа и Азиатско-Тихоокеанский регион. Преобладание в двадцатке регионов США объясняется тем, что почти 60 % мировых гиперскейлеров родом именно отсюда, включая четырёх крупнейших. Кроме того, на США приходится почти половина выручки от облачных сервисов. Прогнозируется, что в дальнейшем США и Китай продолжат доминировать, хотя страны вроде Малайзии, Индии и Испании постепенно укрепляют свои позиции.

Источник изображения: Synergy Research Group

Исследование основано на анализе показателей ЦОД для 19 крупнейших облачных и IT-компаний, предоставляющих различные интернет-сервисы, включая ключевых операторов SaaS, IaaS и PaaS-услуг, а также поисковые службы, социальные сети, представителей сектора электронной коммерции и игрового бизнеса. В числе лидеров — крупнейшие облачные провайдеры, включая Amazon, Microsoft и Google. Каждый из них к тому же имеет ЦОД почти во всех регионах мира. На «большую тройку» облаков приходится 60 % всей ёмкости ЦОД гиперскейл-класса. За ней следуют Meta✴, Alibaba, Tencent, Apple, ByteDance и «малые гиперскейлеры».

В Synergy Research Group сообщается о строительстве и планировании ещё 510 ЦОД на разных этапах. По словам главного аналитика Synergy Research Group Джона Динсдейла (John Dinsdale), на выбор места для инфраструктуры гиперскейлеров влияет ряд факторов, включая близость клиентов, лёгкость ведения дел, местные финансовые льготы, политическая стабильность и минимальные естественные угрозы. Именно поэтому крупнейшие экономические хабы вроде Лондона и Нью-Йорка по совокупности всех факторов могут уступать американской сельской глубинке в Орегоне, Айове и Небраске.

Хотя в ближайшие годы определяющие факторы для размещения могут остаться в основном прежними, приоритеты при выборе мест могут измениться в пользу развивающихся рынков вроде Юго-Восточной Азии и Латинской Америки. Недавно Synergy Research Group также сообщала, что на долю гиперскейлеров приходится уже более 40 % ёмкости всех дата-центров в мире.

Проект FreeBSD опубликовал отчёт за II квартал 2024 года, в котором описана проделанная работа ведущими разработчиками BSD. По данным Phoronix, среди выполненных за последний квартал задач FreeBSD Foundation выделяются проекты по улучшению аудиостека, улучшению OpenZFS, переносу VPP (Vector Packet Processing) на FreeBSD и улучшению поддержки беспроводных сетей.

Также стало известно, что AMD и FreeBSD Foundation сотрудничают в разработке полноценного драйвера AMD IOMMU. Цель проекта — улучшить поддержку серверов на базе AMD EPYC во FreeBSD, в том числе с более чем 256 ядрами, сделать интеграцию с системой виртуализации Bhyve и другие усовершенствования.

«Продолжалась работа над совместным проектом Advanced Micro Devices (AMD) и FreeBSD Foundation по разработке драйвера AMD IOMMU. Этот драйвер позволит FreeBSD полностью поддерживать более 256 ядер с такими функциями, как отображение [mapping] CPU, а также будет включать интеграцию Bhyve. Константин Белоусов работал над различными частями проекта, включая подключение драйвера, определение регистров, парсер таблиц ACPI и реализацию служебных функций. Два ключевых компонента, которые необходимо доделать, — это обработка контекста, которая в основном является обобщением кода Intel DMAR, и создание таблиц страниц. После этого можно будет активировать драйвер AMD для тестирования. Чтобы следить за работой Константина, ищите коммиты в репозитории с тегом «Sponsored by fields for Advanced Micro Devices (AMD) and The FreeBSD Foundation»», — говорится в отчёте.

Источник изображения: FreeBSD

Появление поддержки со стороны AMD для сообщества FreeBSD является значимым событием, поскольку ранее только Intel славилась активным вкладом в развитие проекта и предоставлением инженерных ресурсов на протяжении многих лет. В этом свете интересно, является ли поддержка AMD жестом доброй воли или же у компании есть клиенты, которым необходимы совместимость и оптимизации для FreeBSD. Среди крупных игроков, в инфраструктуре которых активно используется FreeBSD, есть, например, Netflix. В последние годы Arm также начала активно участвовать в развитии ОС.

Кроме того, FreeBSD продолжает активную работу по поддержке архитектуры RISC-V. Так, уже существует экспериментальная поддержка Bhyve. Кроме того, одной из новых разработок для ядра FreeBSD стало создание Zcond — легковесного механизма условного выполнения, аналогичного интерфейсу static_key в Linux.

Компания Xperi объявила о заключении соглашения по продаже своего подразделения Perceive, которое занимается разработкой специализированных ИИ-чипов. Покупателем является Amazon, сумма сделки составляет $80 млн в виде денежных средств. Завершить поглощение планируется до конца 2024 года.

Perceive со штаб-квартирой в Сан-Хосе (Калифорния, США) создаёт ИИ-решения для работы с большими языковыми моделями (LLM) на периферийных устройствах. Такое оборудование обычно обладает ограниченными возможностями в плане вычислительных ресурсов, средств подключения и хранения данных. Чипы Perceive проектируются с учетом особенностей edge-платформ.

В частности, Perceive разработала процессор Ergo AI. Утверждается, что он позволяет запускать «нейронные сети ЦОД-класса» даже на устройствах с самыми жёсткими требованиями к энергопотреблению. Это могут быть системы конференц-связи и носимые гаджеты. Отмечается, что Ergo AI может поддерживать самые разные ИИ-нагрузки — от классификации и обнаружения объектов до обработки аудиосигналов и языка.

Источник изображения: Perceive

Как именно Amazon намерена использовать решения Perceive, не уточняется. Но известно, что Amazon приобретает разработчика ИИ-чипов через своё подразделение Devices & Services, в которое входят голосовой помощник Alexa, интеллектуальные колонки и устройства серий Echo и Fire TV.

Ожидается, что сделка не потребует одобрения со стороны регулирующих органов. После поглощения большинство из 44 сотрудников Perceive присоединятся к Amazon. Perceive, которую возглавляют со-генеральные директоры Мурали Дхаран (Murali Dharan) и Стив Тейг (Steve Teig), имеет сотрудников в США, Канаде, Ирландии, Румынии и Эстонии. Лаборатория Perceive в Бойсе (Айдахо, США) продолжит функционировать.

Нужно отметить, что подразделение Amazon Web Services (AWS) уже не один год разрабатывает собственные аппаратные решения для ИИ-задач и облачных платформ. Это, в частности, чипы семейства Graviton и ИИ-ускорители Trainium. В конце 2023 года дебютировало изделие Graviton4 с 96 ядрами Arm для широкого спектра нагрузок. К выпуску готовится мощный ускоритель Trainium 3, энергопотребление которого может достигать 1000 Вт.

Новейший проект Министерства обороны США объединит суперкомпьютер и т.н. лабораторию быстрого реагирования (RRL, Rapid Response Laboratory). The Register сообщает, что проект призван укрепить биологическую защиту Соединённых Штатов.

Расположенная на территории Ливерморской национальной лаборатории им. Э. Лоуренса (Lawrence Livermore National Laboratory, LLNL) в Калифорнии, машина строится при сотрудничестве с Национальным агентством ядерной безопасности США (National Nuclear Security Agency, NNSA) и будет основана на той же архитектуре, что и грядущий экзафлопсный суперкомпьютер El Capitan на базе ускорителей AMD Instinct MI300A. Спецификации аппаратного обеспечения и ПО не раскрываются.

Машина будет использоваться как военными, так и гражданскими специалистами для крупномасштабных симуляций, ИИ-моделирования, классификации угроз, а при сотрудничестве с новой биологической лабораторией — для ускорения разработки контрмер. Некоторые из них, как ожидается, будут чрезвычайно важными, поскольку решения можно будет находить в течение дней, если не часов. Впрочем, новые вычислительные мощности военные биологи намерены использовать на регулярной основе. Конечно, как отмечает The Register, инструменты для разработки средств борьбы могут использоваться и для создания биологического оружия, хотя в самом Пентагоне о подобном применении суперкомпьютера не упоминают.

Источник изображения: Lawrence Livermore National Laboratory

Концепция биологической защиты США представляет собой комплекс мер для борьбы как с естественными, так и рукотворными биологическими угрозами военным и гражданским лицам, природным ресурсам, источникам пищи и воды и т.п., воздействие на которые может негативно сказаться на возможностях воюющей стороны. Поскольку биологические угрозы имеют важное значение для самых разных ведомств, суперкомпьютер будет доступен и прочим правительственным агентствам США, а также союзникам Соединённых Штатов, академическим исследователям и промышленным компаниям.

Лаборатория RRL будет находиться буквально в «шаговой доступности» от суперкомпьютера. Она станет дополнением к проекту Пентагона Generative Unconstrained Intelligent Drug Engineering (GUIDE). GUIDE занимается разработкой медицинских и биологических контрмер с использованием машинного обучения для создания анител, структурной биологии, биоинформатики, молекулярного моделирования и т.д. Новый суперкомпьютер позволит Пентагону быстрые и многократные тесты моделируемых вакцин и лекарств.

RRL автоматизирована и снабжена роботами и иными инструментами для изучения строения и свойств молекул, для редактирования структуры белков и т.д. По словам экспертов LLNL, лаборатория, подключённая к суперкомпьютеру, позволит изменить всю систему распознавания биологических угроз и ответа на них.

AMD объявила о приобретении за $4,9 млрд компании ZT Systems, поставщика аппаратного оборудования для гиперскейлеров, базирующегося в Секокусе (штат Нью-Джерси). Согласно пресс-релизу, обширный опыт ZT Systems в проектировании и оптимизации решений для облачных вычислений поможет корпоративным клиентам AMD значительно ускорить развёртывание инфраструктур ИИ.

Три четверти суммы будет оплачено деньгами, остальная часть — акциями. Сумма сделки включает условный платёж в размере до $400 млн, выплата которого увязана с выполнением определённых показателей производительности компании. Ожидается, что сделка будет завершена в I половине 2025 года. ZT Systems основана в 1994 году, на текущий момент её годовая выручка составляет порядка $10 млрд.

Источник изображений: ZT Systems

«Объединение наших высокопроизводительных ИИ-ускорителей Instinct, процессоров EPYC и сетевых продуктов с ведущим в отрасли опытом ZT Systems в области систем для ЦОД позволит AMD предоставлять комплексную инфраструктуру ИИ в ЦОД», — заявила гендиректор AMD Лиза Су (Lisa Su). «Системы ИИ — наш стратегический приоритет номер один», — сообщила она в интервью Reuters. ZT Systems совместно с AMD разрабатывала одни из первых решений на базе первых EPYC, Instinct MI250, а теперь MI300.

После закрытия сделки ZT Systems присоединится к бизнес-группе AMD Data Center Solutions. Гендиректор ZT Фрэнк Чжан (Frank Zhang) возглавит производственный бизнес, а президент ZT Дуг Хуан (Doug Huang) возглавит группы по проектированию и поддержке клиентов, оба будут подчиняться исполнительному вице-президенту и гендиректору AMD Форресту Норроду (Forrest Norrod). AMD планирует оставить около 1000 инженеров из 2500 сотрудников, работающих сейчас в ZT Systems. При этом AMD не планирует создавать системы наподобие NVIDIA DGX.

Сообщается, что AMD займётся поиском стратегического партнёра для продажи бизнеса по производству инфраструктурных решений для ЦОД ZT Systems. По словам Су, у AMD нет планов конкурировать с такими компаниями как Supermicro. Как ожидается, на продажу производственного бизнеса ZT Systems уйдёт ещё 12–18 месяцев после закрытия сделки. В октябре прошлого года ZT Systems объявила о приобретении производственной площадки в Техасе и намерении трудоустроить 1500 человек. Вероятно, именно эта площадка с персоналом и будет продана третьему лицу. Также у компании есть производственные мощности в родном Секокусе и в Алмело (Нидерланды).

ZT Systems тесно сотрудничает с крупными IT-производителями, включая NVIDIA и Intel. ZT Systems не раскрывает имена всех своих клиентов, но, похоже, в последние годы её авторитет значительно укрепился благодаря предоставлению специализированной поддержки в некоторых из самых сложных и дорогостоящих аспектов проектирования архитектуры вычислений ИИ, отметил ресурс TechCrunch. По неофициальным данным, ZT Systems является поставщиком Amazon AWS и Microsoft Azure.

Приобретение ZT Systems знаменует собой последнюю из серии инвестиций AMD, направленных на значительное усиление позиций в области ИИ. За последние 12 месяцев AMD инвестировала более $1 млрд в расширение экосистемы ИИ и укрепление возможностей ПО в этой области. Аналитик Moor Insights & Strategy Патрик Мурхед (Patrick Moorhead) высказал мнение, что новое приобретение позволит AMD занять заметную долю рынка ИИ ЦОД, объём которого в 2027 году составит $400 млрд.

Обеспокоенность тем, в каком направлении движется компания VMware после сделки с Broadcom, ведёт к негативным для бизнеса последней результатам. По данным Network World, некоторые клиенты уже рассматривают альтернативные программные платформы, например, Scale Computing и Nutanix.

Изменение условий лицензирования ПО VMware и прочие нововведения под патронажем Broadcom буквально заставляют существующих клиентов компании искать альтернативные решения. Как минимум двое конкурентов заявили о росте продаж, который напрямую связан с разочарованием новой политикой Broadcom.

Например, Scale Computing, специализирующаяся на HCI-системах, в последнем квартальном отчёте объявила о росте выручки, который во многом связан именно с изменениями схемы продаж ПО Vmware. Руководство Scale Computing отметило значительный спрос на решения для периферийных вычислений и платформы виртуализации — в минувшем квартале рост продаж оказался рекордным, а количество новых клиентов и партнёров удвоилось в сравнении с тем же периодом прошлого года. А по итогам 2024-го прирост выручки может составить год к году беспрецедентные 50 %.

Источник изображения: Razvan Chisu/unsplash.com

В Nutanix подтверждают, что клиенты обеспокоены влиянием Broadcom на бизнес VMware, что ведёт как к росту цен, так и изменениям в службах поддержки продуктов, недостатку инноваций и т.п. От VMware к Nutanix уже ушли немаленькие компании вроде Treasure Island Hotel & Casino и Computershare, причём тенденция, похоже, будет сохраняться годами.

Хотя подобный переход весьма неудобен и сложен для клиентов, а также отнимает много времени, в Oxide Computer отмечают, что клиенты VMware намерены полностью избавиться от продуктов компании в своих IT-экосистемах. И конкуренты Broadcom стараются воспользоваться моментом, предлагая не только скидки, но и помощь в миграции инфраструктур. Впрочем, в некоторых случаях компании будут вынуждены сохранить и поддерживать устаревающие VMware-инфраструктуры.

Со времён закрытия сделки по покупке VMware в конце прошлого года, Broadcom внесла чересчур много изменений в устоявшийся бизнес. В частности, она отказалась от «вечных» лицензий в пользу подписок, прекратила выпуск десятков продуктов и объединила оставшиеся в два громоздких набора ПО — VMware Cloud Foundation и VMware vSphere Foundation. Это заставляет покупателей покупать в комплекте с нужным ПО те программы, которые им не понадобятся вовсе, из-за чего растут и издержки.

Независимая энергетическая компания Talen Energy (США) намерена отойти от операций, связанных с криптомайнингом и вместо этого хочет просто поставлять энергию операторам дата-центров. По данным Datacenter Dynamics, компания подтвердила намерение продать долю в майнинг-ЦОД в Пенсильвании в непосредственной близости от АЭС.

Talen впервые сообщила о намерении развивать ЦОД-направление в 2021 году, запланировав строительство криптомайнингового ЦОД (Cumulus Coin) и объекта для гиперскейлеров (Cumulus Data) при АЭС Susquehanna Steam Electric Station (SSES). Гиперскейл-мощности отошли AWS, потратившей на это $650 млн. В следующие 10 лет AWS намерена построить на территории 15 зданий ЦОД, которые смогут получать от АЭС до 960 МВт.

В рамках проекта Cumulus Coin Talen сотрудничала с майнерами TeraWulf над созданием ЦОД Nautilus, который тоже запитан от АЭС. TeraWulf владеет 25 % в совместном предприятии с Talen и намерена в 2025 году расширить свою майнинговую ёмкость с 50 до 100 МВт. Однако на днях Talen заявила, что криптовалютный бизнес более не является для неё стратегическим активом. Более того, AWS теперь также принадлежит земля криптомайнинговой площадки, которая будет сдаваться в аренду ещё 9 лет, а с самой площадкой заключен договор о поставках энергии (PPA).

Источник изображения: Talen Energy

Успешные проекты Talen сподвигли и других владельцев АЭС напрямую предложить свои услуги дата-центрам. Ранее в этом месяце Dominion Energy сообщила о возможности подключения ЦОД к своей атомной станции в Коннектикуте. Что касается криптомайнеров, то многие из них теперь тоже пытаются отойти от своего основного бизнеса, переключившись на ИИ.

Компания ASUS представила материнскую плату N97T-IM-A, предназначенную для применения во встраиваемых системах и индустриальных устройствах. Изделие выполнено в форм-факторе Thin mini-ITX, благодаря чему может устанавливаться в компактные корпуса небольшой толщины.

Задействована аппаратная платформа Intel Alder Lake-N с чипом N97 (четыре ядра; до 3,6 ГГц; 12 Вт). Доступен один слот SO-DIMM для модуля DDR5-4800 ёмкостью до 16 Гбайт. Накопители могут быть подключены к двум портам SATA-3. Кроме того, имеется коннектор M.2 Key-M для SSD с интерфейсом SATA 3.0 или PCIe x2.

Источник изображения: ASUS

Плата имеет размеры 170 × 170 мм. Она оборудована двухпортовым сетевым контроллером 1GbE на основе Reaktek RTL8111H, слотом расширения PCIe 3.0/2.0 x1, коннектором M.2 E-key 2230 (PCIe x1; USB 2.0; CNVI) для адаптера Wi-Fi/Bluetooth и звуковым кодеком Realtek ALC897.

Возможен вывод изображения через интерфейсы HDMI 2.0 (до 4096 × 2160 пикселей; 60 Гц), DP++ 1.2 (до 4096 × 2160 точек; 60 Гц), LVDS (1920 × 1200 пикселей; 60 Гц), DP++ 1.4 (до 4096 × 2160 пикселей; 60 Гц) и eDP (4096 × 2160 точек; 60 Гц). Кроме того, могут быть использованы четыре последовательных порта RS232.

Блок с разъёмами содержит по два порта USB 3.2 Gen1 и USB 2.0, два гнезда RJ-45 для сетевых кабелей, аудиогнездо на 3,5 мм, коннекторы HDMI и DP, а также гнездо для подачи питания (9–36 В). Диапазон рабочих температур простирается от 0 до +60 °C. Использована система пассивного охлаждения с крупным радиатором. Говорится о совместимости с Windows 10, Windows IoT Enterprise и Linux.

Спрос на ИИ-системы и соответствующие серверы привёл к росту заказов на SSD корпоративного класса в последние два квартала. По данным TrendForce, производители компонентов для твердотельных накопителей налаживают производственные процессы, готовясь к массовому выпуску накопителей нового поколения, которые появятся на рынке в 2025.

Увеличение заказов корпоративных SSD от пользователей ИИ-серверов привело к росту контрактных цен на эту категорию товаров на более чем 80 % с IV квартала 2023 года по III квартал 2024. При этом SSD играют ключевую роль в развитии ИИ, поскольку только они годятся для эффективной работы с моделями. Помимо собственно хранения данных модели они также нужны для создания контрольных точек во время обучения, чтобы в случае сбоев можно было быстро «откатить» модель и возобновить обучение.

Благодаря высокой скорости записи и чтения, а также повышенной надёжности в сравнении с HDD, для тренировки моделей обычно выбирают TLC-накопители ёмкостью 4–8 Тбайт. Эффективность RAG и больших языковых моделей (LLM), особенно для генерации медиаконтента, зависят и от ёмкости, и от производительности накопителей, поэтому для инференса более предпочтительны TLC/QLC-накопители ёмкостью от 16 Тбайт.

Источник изображения: TrendForce

Со II квартала 2024 года спрос на SSD для ИИ-серверов ёмкостью больше 16 Тбайт значительно вырос. С повышением доступности ускорителей NVIDIA H100/H20/H200 клиенты начали наращивать спрос и на TLC SSD на 4 и 8 Тбайт. В агентстве считают, что закупочная ёмкость SSD для в 2024 году превысит 45 Эбайт, а в следующие несколько лет спрос на серверные SSD будет увеличиваться более чем на 60 % ежегодно. В частности, на SSD для ИИ-нагрузок потенциально уйдёт до 9 % всей NAND-памяти в 2025, тогда как в 2024 году этот показатель, как ожидается, составит 5 %.