Создание и обучение мощных ИИ-моделей может обходиться компаниям в сотни миллионов и миллиарды долларов в год. Например, OpenAI в 2024-м намерена потратить на эти цели до $7 млрд. Основная часть затрат приходится на аппаратные ресурсы, включая дорогостоящие ускорители NVIDIA. Но, как сообщает Fortune, существует ещё одна важная статья расходов, которая зачастую упускается из виду — необходимость качественной маркировки данных. Между тем именно эта работа требует всё больших финансовых вложений.

Разметка (или маркировка) — процесс идентификации необработанных данных (изображений, текстовых файлов, видео и пр.) и добавления одной или нескольких значимых и информативных меток для обеспечения контекста. Это необходимо для того, чтобы ИИ-модель могла обучаться на таких массивах информации. Разметка данных требуется для различных сценариев использования, включая машинное зрение, обработку естественного языка и распознавание речи.

Разметка уже давно используется, например, при разработке ИИ-моделей для беспилотных автомобилей. Камера фиксирует изображения людей, уличных знаков, транспортных средств и светофоров, а комментаторы-люди помечают снимки такими тегами, как «пешеход», «грузовик» или «знак остановки». Это трудоёмкий и кропотливый процесс, который отнимает много времени и требует значительных финансовых вложений. После выпуска ChatGPT в 2022 году OpenAI подверглась широкой критике за аутсорсинг такой работы: компания наняла кенийских работников менее чем за $2/час.

Источник изображения: Max Panamá / Unsplash

Нынешние универсальные большие языковые модели (LLM) проходят обучение с подкреплением на основе отзывов (RLHF). В ходе процедуры люди предоставляют качественную обратную связь или ранжируют то, что генерирует ИИ-модель. Такой подход приводит к значительному увеличению затрат. Ещё одна причина роста расходов при маркировке данных — желание компаний включить в процесс обучения корпоративную информацию, такую как сведения о клиентах или внутренние корпоративные документы.

Кроме того, маркировка данных экспертного уровня в таких областях, как юриспруденция, финансы и здравоохранение требует привлечения высококвалифицированных специалистов, оплата труда которых стоит весьма дорого. Поэтому некоторые разработчики перекладывают задачи по разметке данных на сторонние компании, например, Scale AI, которая недавно получила финансирование в размере $1 млрд.

Алекс Ратнер (Alex Ratner), генеральный директор стартапа по маркировке данных Snorkel AI, говорит, что корпоративные клиенты могут тратить миллионы долларов на маркировку и обработку информации. Такие операции в некоторых случаях отнимают до 80% времени и бюджета на ИИ. Причём для сохранения актуальности со временем данные должны периодически дополняться и обрабатываться заново.

Таким образом, разметка, наряду с необходимостью применения дорогостоящего оборудования, становится одной из основных статей расходов при обучении ИИ-моделей. Некоторые компании снижают затраты, используя синтетические данные — то есть данные, сгенерированные самим ИИ. Последние инновации в области ИИ сделали генерацию синтетических данных эффективной и быстрой, что в ряде случаев позволяет отказаться от применения массивов реальной информации. Однако в некоторых случаях это грозит «самоповторами».

Компания iBase Technology анонсировала материнскую плату MI1002 для создания встраиваемых систем с ИИ-функциями, периферийного оборудования и IoT-устройств. В основу новинки, выполненной в форм-факторе Mini-ITX, положена аппаратная платформа Intel Meteor Lake-PS с процессором Core Ultra.

Допускается установка чипов в исполнении LGA1851. Есть два слота SO-DIMM для модулей памяти DDR5 суммарным объёмом 64 Гбайт. Для подключения накопителей могут быть задействованы два порта SATA-3. В оснащение входят сетевые адаптеры Intel I226LM (1 порт 2.5GbE / RJ-45) и Intel I226V (два порта 2.5GbE / RJ-45), а также I/O-чип Fintek F81964D-I и звуковой кодек Realtek codec ALC888S-VD2.

Плата оборудована коннектором M.2 M-Key 2280 для SSD (NVMe), одним разъёмом M.2 E-Key 2230 для комбинированного модуля Wi-Fi/Bluetooth и коннектором M.2 B-Key 3052 для сотового модема 5G/4G. Кроме того, есть слот PCIe x4. На интерфейсную панель выведены коннекторы HDMI и DisplayPort (DP++), шесть портов USB 3.2 (4 × Type-A и 2 × Type-C), два последовательных порта и набор аудиогнёзд. Через разъёмы на плате можно использовать четыре порта USB 2.0 и дополнительные последовательные порты.

Источник изображения: iBase

Новинка имеет размеры 170 × 170 мм. Диапазон рабочих температур — от 0 до +60 °C. Изделие доступно в вариантах MI1002AF и MI1002AF-1: в первом случае реализована поддержка Intel iAMT 18.0 и dTPM 2.0 для обеспечения расширенных функций безопасности и удалённого управления, во втором — только поддержка fTPM 2.0. Допускается DC-питание в диапазоне 12–24 В.

23 августа США ввели новые санкции в отношении российских IT-компаний, включая производителей электроники и разработчиков ПО, а также физических лиц. Также в санкционный список были включены компании и физлица из Азии, Европы и Ближнего Востока, чья продукция и сервисы помогают России обходить санкции, сообщается на сайте Министерства финансов США. Всего было включено порядка 400 компаний и физлиц. Из них более 190 было внесено в перечень Государственным департаментом США и около 200 — Министерством финансов США.

В санкционном перечне оказались разработчики ПО для финансового сектора — разработчики банковского софта ПАО «Диасофт» и группа компаний «Центр финансовых технологий» (ЦФТ), известная платёжной системой «Золотая Корона», а также компания «Атол», которая помимо ПО также занимается производством кассовых аппаратов. Их включение в чёрный список США объяснили намерением ограничить использование Россией международной финансовой системы.

Источник изображения: Jorge Franganillo / Pixabay

Также в санкционный перечень были включены такие российские разработчики софта, как «Галактика» (разработчик одноименной ERP-системы), «Цифра» (разработчик ПО для промышленности и IoT), «Крибрум» (разработчик платформы для сбора, хранения и анализа данных), «Базальт СПО» (разработчик Linux-платформ и системного ПО) и компании группы «Центр речевых технологий» (ЦРТ) по созданию систем в сфере биометрии, среди которых названы «ЦРТ Инновации» и «ЦРТ Софт»,

Кроме того, в перечне указаны Научно-исследовательский Институт искусственного интеллекта (AIRI), занимающийся исследованиями в области ИИ и разработавший нейронные сети, связанные с беспилотными транспортными средствами, Институт проблем искусственного интеллекта РАН (ИПИИ ФИЦ ИУ РАН) и МТС RED, «дочка» МТС, специализирующаяся на разработке решений в сфере кибербезопаности.

Как сообщает «Интерфакс», на данный момент под санкциями США, ЕС и отдельных стран находятся десятки российских ИТ-компаний, занимающихся разработкой ПО («Группа Астра», «РедСофт», «Аскон» и т.д.), решений в области информационной безопасности («Группа Позитив», «Солар», «Инфотекс» и пр.), а также производством компьютерной техники и микроэлектроники, предоставлением услуг заказной разработки ПО и услуг ЦОД.

StorageNewsletter со ссылкой на Trendfocus сообщает, что во II квартале 2024 года поставки SSD уменьшились на 18,4 %, составив 67,5 млн шт., однако в ёмкостном выражении поставки выросли на 4,1 % и достигли 90,6 Эбайт. По словам Trendfocus, этот рост обусловлен исключительно PCIe-накопителями корпоративного класса. Несмотря на общее снижение поставок во всех других категориях, спрос на корпоративные SSD растёт.

Замедление рынка комплектующих для ПК и поставок в каналы сбыта в сочетании с некоторыми запасами привело к снижению общего количества отгруженных клиентских SSD на 22,5 % по сравнению с предыдущим кварталом (до 54,869 млн шт.), а отгруженная ёмкость упала на 21,6 % до 38,101 Эбайт. В то же время поставки корпоративных NVMe-накопителей выросли на 19,7 %, достигнув 8,5 млн шт., а суммарный объём таких накопителей увеличился на 46,2 % до 44,6 Эбайт — рекордный прирост наблюдается уже два квартала подряд.

Отгрузки в штучном выражении: 67,549 млн единиц (Источник здесь и далее: storagenewsletter.com)

Поставки SAS SSD продолжили снижение: количество устройств уменьшилось на 10,1 % до 794 тыс. шт., хотя объём сократился незначительно, на 0,5 % до 3,2 Эбайт. Корпоративные SATA-накопители также показали снижение, с сокращением объёмов поставок на 15,6 %, до 3,4 млн шт., и объемов на 0,8 %, до 4,6 Эбайт. Общий объём поставок NAND-чипов снижается второй квартал подряд, на этот раз на 5,4 % до 213,84 Эбайт.

Отгрузки в ёмкостном выражении: 90,553 Эбайт

По данным Trendfocus, в пятёрку игроков по объёмам отгрузок в штучном и ёмкостном выражении SSD вошли Samsung (26,4 % и 31,1 % соответственно), Western Digital (17,2 % и 12,4 %), Micron (12,7 % и 13,0 %), SK Hynix (12,3 % и 9,8 %) и Kioxia (9,8 % и 8,3 %).

Государственные китайские организации используют облачные сервисы Amazon, Microsoft и их конкурентов для доступа к передовым американским чипам и технологиям ИИ, пишет Reuters со ссылкой на тендерную документацию, размещённую в общедоступных китайских базах данных. О попытках китайских компаний получить доступ к ИИ-ускорителям на территории США в условиях запрета на их поставки в Китай сообщалось и ранее.

Правительство США ограничивает экспорт высокопроизводительных чипов ИИ в КНР в течение последних двух лет в связи с потенциальной возможностью их использования для укрепления военного потенциала Поднебесной. Однако предоставление доступа к таким чипам или передовым ИИ-моделям в облаках не является нарушением законодательства США, которым регулируется в данном случае только экспорт или передача товара, ПО или технологии, отметило Reuters.

Согласно 50 тендерным документам, с которыми ознакомилось агентство, по крайней мере 11 китайских организаций пытались получить доступ к подпадающим под ограничение технологиям США или облачным сервисам. В четырёх случаях Amazon Web Services (AWS) явно названа поставщиком облачных услуг, хотя компании получили доступ к облачным услугам через посредников, а не напрямую у AWS. Таким образом, не только китайские компании обходят ограничения, но и американские компании извлекают выгоду из растущего в Китае спроса на вычислительные мощности.

Источник изображения: Mark Daynes / Unsplash

«AWS соблюдает все применимые законы США, включая торговые законы, в отношении предоставления услуг AWS внутри и за пределами Китая», — заявил представитель облачного бизнеса Amazon. По данным Synergy Research Group, AWS контролирует почти треть мирового рынка облачной инфраструктуры. А согласно данным исследовательской компании IDC, AWS является в Китае шестым по величине поставщиком облачных услуг.

«Эта лазейка беспокоит меня уже годы, и нам давно пора её устранить», — заявил агентству Reuters председатель Комитета по иностранным делам Палаты представителей США Майкл Маккол (Michael McCaul), имея в виду удалённый облачный доступ иностранных субъектов к передовым вычислительным решениям США. В апреле в Конгресс США был внесён законопроект, дающий Министерству торговли полномочия регулировать удалённый доступ к технологиям США, но пока неясно, будет ли он принят и когда.

В январе Министерство торговли США также предложило изменения в законодательства с требованием к сервисам облачных вычислений проверять пользователей крупных моделей ИИ и сообщать регулирующим органам об обучения крупных моделей ИИ, способных на «злонамеренную киберактивность». Поправки также дают ведомству право налагать запрет на доступ тех или иных клиентов. Но этот документ всё ещё находится в стадии доработки.

Источник изображения: Eric Prouzet / Unsplash

Китайские организации также стремятся получить доступ к облачным сервисам Microsoft. Например, в апреле Сычуаньский университет указал в тендерной документации, что он создаёт платформу генеративного ИИ и закупает 40 млн токенов Microsoft Azure OpenAI. В мае токены поставила компания Sichuan Province Xuedong Technology Co Ltd. В связи с этим OpenAI сообщила Reuters, что её собственные сервисы не поддерживаются в Китае, а сервисы Azure OpenAI работает в соответствии с политикой Microsoft.

Наконец, Институт перспективных исследований Сучжоуского университета науки и технологий Китая (USTC) сообщил в тендерной документации в марте этого года, что хотел бы арендовать 500 облачных серверов с восемью ускорителями NVIDIA A100 в каждом. Согласно апрельским документам, тендер был выполнен компанией Hefei Advanced Computing Center Operation Management Co Ltd, но в них не был указан поставщик облачных услуг, и Reuters не удалось его идентифицировать. USTC был добавлен Минторгом США в чёрный список Entity List в мае этого года из-за получения доступа к американской технологии квантовых вычислений, которая могла бы использоваться военно-промышленным комплексом Китая и помочь в развитии ядерной программы.

Согласно тендерным документам, Amazon предоставляет китайским организациям доступ не только к передовым ИИ-чипам, но и к передовым моделям ИИ, таким как Claude от Anthropic, к которым они не могут получить доступ иным образом, пишет Reuters. Да и сама AWS в сообщениях на китайском языке подчёркивает возможность опробовать «модели ИИ мирового класса» и упоминает китайскую игровую фирму Source Technology как одного из своих клиентов, использующих Claude. После того как Reuters обратилось к Amazon за разъяснением, компания добавила в десятки постов на своих китаеязычных каналах примечание о том, что некоторые из услуг недоступны в китайских облачных регионах. Она также удалила несколько рекламных постов, включая пост об Source Technology.

США намерены ужесточить ограничения для создания в Китае суперкомпьютеров с участием своих граждан, резидентов и компаний, пишет ресурс HPCwire.

В июле был опубликован законопроект, подготовленный Управлением по безопасности инвестиций (Office of Investment Security, OIS), согласно которому гражданам и постоянным резидентам США будет запрещено заниматься деятельностью, связанной с суперкомпьютерами, со странами и территориями, вызывающими обеспокоенность правительства США, к котором причислены Китай, Гонконг и Макао. Они также должны будут сообщать о любых транзакциях, связанных с этой деятельностью.

Проект «Положений, касающихся инвестиций США в определённые технологии и продукты национальной безопасности в странах, вызывающих обеспокоенность», был открыт для обсуждения до 5 августа, но комментарии различных экспертов и организаций поступают до сих пор.

Источник изображения: Dark Light2021 / Unsplash

Деятельность в сфере суперкомпьютеров, регулируемая этим законопроектом, «включает разработку, установку, продажу или производство любого суперкомпьютера, оснащённого передовыми интегральными схемами, которые могут обеспечить теоретическую вычислительную мощность от 100 Пфлопс двойной точности (FP64) или от 200 Пфлопс одинарной точности (FP32) объёмом 1178 м³ или меньше». Проще говоря, речь идёт о достаточно высокоплотных HPC-решениях.

Кроме того, граждане и резиденты США будут обязаны информировать правительство об определённых транзакциях, касающихся HPC-сферы, если они занимают должность в иностранной компании, например, партнёра, менеджера или инвестиционного консультанта. Им также вменяется обязанность отслеживать и не допускать проведения иностранными организациями транзакций с Китаем в контексте суперкомпьютеров.

Некоторые представители компьютерной отрасли США восприняли законопроект негативно, заявив, что предлагаемые ограничения являются произвольными. Другим не понравилось расширение государственного надзора, что, как им кажется, задушит инновации в области ИИ. Также утверждается, что закон не учитывает влияние на конкурентоспособность американских технологических компаний на мировом рынке.

Источник изображения: Ronan Furuta / Unsplash

В частности, новые правила могут отразиться на производителе ИИ-чипов Cerebras, заключившем партнёрское соглашение о создании девяти ИИ-суперкомпьютеров Condor Galaxy для G42, базирующейся в ОАЭ. Однако, согласно сообщениям, G42 также поставляет технологии в Китай. Это, впрочем, не помешало ей заключить ещё и $1,5-млрд соглашение с Microsoft.

Венчурная компания a16z, которая сама сдаёт ускорители в аренду, обратилась к правительству с просьбой исключить пункт о производительности из регулирования. Она инвестировала в сотни ИИ-стартапов, которым требуется огромная вычислительная мощность. По словам, a16z требования к производительности ИИ-систем стремительно поменялись всего за несколько лет. Поэтому любые ограничения, введённые сейчас, могут очень быстро оказаться неактуальными.

Ассоциация полупроводниковой промышленности (SIA) предупредила, что американские чипмейкеры будут вынуждены уступить свою долю рынка иностранным конкурентам. И в отсутствие инвестиционной активности США в странах, которые вызывают обеспокоенность, появятся зарубежные инвесторы. Это может «подорвать лидерство США и стратегическое преимущество в таких критически важных технологических секторах, как полупроводники, и других стратегических отраслях, которые зависят от полупроводников», — заявила SIA.

Источник изображения: Kayla Kozlowski / Unsplash

В свою очередь, Национальная ассоциация венчурного капитала (NVCA) сообщила, что предлагаемые правила несут с собой значительное бремя расходов на венчурные инвестиции США по всем направлениям. Расходы на соблюдение правил могут составить до $100 млн/год, что намного больше оценки Министерства финансов США в $10 млн/год. NVCA отметила, что многие стартапы в значительной мере полагаются в своей стратегии на ИИ, и бремя соответствия регуляторным правилам увеличит их расходы на ведение бизнеса и на «каждую из примерно пятнадцати тысяч венчурных инвестиций, сделанных в США».

Также вызывает вопросы расплывчатость списка лиц, которым вменяется в обязанность соблюдать новые правила. Все предыдущие санкции хоть и затормозили, но не помешали созданию китайских суперкомпьютеров, в том числе на чипах собственной разработки. Кроме того, все американские чипмейкеры после очередного введения ограничений корректировали спецификации своих продуктов, чтобы не лишаться крупного и важного для них рынка Китая.

Согласно исследованию CBRE, количество строящихся дата-центров стремительно растёт из-за бума ИИ-систем, передаёт The Register. При этом, как сообщается в докладе, на ведущих рынках Северной Америки за последний год рост составил около 70 %, достигнув рекордных 3,87 ГВт. В числе самых быстрорастущих регионов — Атланта, где объёмы строительства ЦОД выросли на 76 % год к году до примерно 1,3 ГВт. В Техасе (Остине и Сан-Антонио) строится 463 МВт новой ёмкости ЦОД, вчетверо с лишним больше, чем годом ранее.

Быстрая экспансия сдерживается недостатком доступной ЦОД электроэнергии и длительным временем создания критической инфраструктуры, необходимой для ввода объектов в эксплуатацию. Впрочем, даже когда эти объекты заработают, только около 20 % их ресурсов будут доступны обычным пользователям, порядка 80 % на 3,87 ГВт уже зарезервировано гиперскейлерами, облачными провайдерами и операторами ЦОД, сдающими ИИ-ускорители в аренду.

В CBRE сообщают, что ёмкость ЦОД на ключевых рынках в I половине 2024 года выросла на 10 %, объекты на 1,1 ГВт заработали в прошлом году. Однако доступность ёмкостей всё равно ограничена, поскольку в среднем в указанных регионах свободны всего 2,8 % ресурсов. Впрочем, при желании можно обратиться к менее популярным территориям вроде Центрального Вашингтона, Миннеаполиса, Хьюстона или Денвера, поскольку на второстепенных рынках Северной Америки свободны 10 %.

Источник изображения: CBRE

Недостаток новых ЦОД и высокий спрос ведёт к росту цен, хотя не такому быстрому, как в прошлом году. Средний ежемесячный запрос составляет 250–500 кВт на ключевых рынках, рост в I квартале 2024 года составил 7 % до $174/кВт в месяц. Арендная плата, как ожидается, продолжит расти и во II полугодии, во многом из-за роста стоимости строительства и оборудования. Тенденция также обусловлена и использованием более ресурсоёмких ИИ-ускорителей. Например, потребление одного ускорителя NVIDIA Blackwell может достигать 1200 Вт, он изначально рассчитан на использование СЖО.

По мнению экспертов CBRE, в результате строительство новых ЦОД будет только дорожать. С другой стороны, менее требовательным пользователям могут стать более доступными плохо оснащённые старые дата-центры, не готовые для работы с современными ускорителями. Прогнозируется, что второстепенные рынки в Северной Индиане, Айдахо, Арканзасе и Канзасе благодаря обилию дешёвой земли и энергии могут стать новыми центрами развития ЦОД.

Источник изображения: CBRE

Что касается энергии, то дефицит трансформаторов, переключателей и генераторов продолжится ещё четыре года, что не может не сказаться на времени строительства дата-центров. В CBRE отмечают, что клиенты, желающие получить требуемую ёмкость в срок, должны заключать соглашения за 2–4 года до предполагаемого ввода объектов в эксплуатацию.

Озабоченность экоактивистов вероятным воздействием ЦОД на природу штата Вирджиния (США) стала ещё серьёзнее. Financial Times сообщает, что потребление воды дата-центрами выросло почти на ⅔ в сравнении с 2019 годом, а рост спроса на ИИ только ухудшает положение.

Северная Вирджиния давно считается мировой столицей ЦОД, там работает порядка 300 соответствующих объектов. По данным Financial Times, за последние пять лет потребление воды в некоторых округах выросло почти на ⅔ — соответствующие данные были собраны энтузиастами благодаря законам о свободе информации, передаёт The Register. Около 7 млн м³ воды было использовано в 2023 году, тогда как в 2019 году — около 4,3 млн м³. В ЦОД вода используется в основном для охлаждения.

В обозримом будущем ожидается рост расхода воды, связанный с ИИ, поскольку соответствующее оборудование потребляет всё больше энергии и работает безостановочно. Так, на одну беседу с ChatGPT уходит примерно поллитра воды. При этом некоторые ЦОД находятся в регионах с дефицитом питьевой воды — даже части Вирджинии страдают от засух. Более того, во время засух и жаркой погоды дата-центрам требуется больше воды, чем обычно.

Источник изображения: Jack B/unspalsh.com

Хотя именно в Вирджинии, согласно данным Northern Virginia Technology Council, с 2015 по 2023 гг. ёмкость объектов увеличилась в пять раз. Экоактивисты, политики и просто неравнодушные граждане, обеспокоенные тем, что ЦОД занимают всё больше земли и тратят всё больше энергии и воды, сформировали НКО Virginia Data Center Reform Coalition в попытке остановить бесконтрольный рост дата-центров в штате.

Так, в одном из отчётов заявляется, что ЦОД, обслуживаемые коммунальными службами только в округе Лаудон (Loudoun) Северной Вирджинии, увеличили использование питьевой воды более чем на 250 % с 2019 по 2023 гг. Впрочем, представитель компании Aquatech заявил, что большинство ЦОД в округе используют переработанные сточные воды, которые иначе просто слили бы в Чесапикский залив, а многие новые ЦОД вообще не забирают воду для охлаждения.

Крупнейшие операторы вроде AWS берут на себя обязательства по снижению потребления воды, компания ещё в 2022 году анонсировала намерение стать «водно-положительной» к 2030 году. Впрочем, в Microsoft, наоборот, признали, что в прошлом году потребление воды на её объектах выросло на треть — виной тому именно развитие генеративных ИИ-систем. Дефицит водных ресурсов наблюдается и в других регионах. Так, британская Thames Water пригрозила урезать подачу воды дата-центрам или взвинтить цены.

Новые данные Synergy Research Group свидетельствуют о том, что на 20 ключевых рынков ЦОД гиперскейлеров приходится 62 % всей IT-ёмкости. Портал агентства сообщает, что только на Северную Вирджинию и Пекин с прилегающими территориями приходится 22 %. В пятёрку вошёл регион «Большого Дублина» и американские штаты Орегон и Айова, а также Шанхай с окрестностями. Из 20 основных рынков 13 расположены в США, 4 — в Азиатско-Тихоокеанском регионе и 3 — в Европе.

Доля рынков, не попавших в Топ-20, составляет ещё 18 %. В этом сегменте лучше показали себя Европа и Азиатско-Тихоокеанский регион. Преобладание в двадцатке регионов США объясняется тем, что почти 60 % мировых гиперскейлеров родом именно отсюда, включая четырёх крупнейших. Кроме того, на США приходится почти половина выручки от облачных сервисов. Прогнозируется, что в дальнейшем США и Китай продолжат доминировать, хотя страны вроде Малайзии, Индии и Испании постепенно укрепляют свои позиции.

Источник изображения: Synergy Research Group

Исследование основано на анализе показателей ЦОД для 19 крупнейших облачных и IT-компаний, предоставляющих различные интернет-сервисы, включая ключевых операторов SaaS, IaaS и PaaS-услуг, а также поисковые службы, социальные сети, представителей сектора электронной коммерции и игрового бизнеса. В числе лидеров — крупнейшие облачные провайдеры, включая Amazon, Microsoft и Google. Каждый из них к тому же имеет ЦОД почти во всех регионах мира. На «большую тройку» облаков приходится 60 % всей ёмкости ЦОД гиперскейл-класса. За ней следуют Meta✴, Alibaba, Tencent, Apple, ByteDance и «малые гиперскейлеры».

В Synergy Research Group сообщается о строительстве и планировании ещё 510 ЦОД на разных этапах. По словам главного аналитика Synergy Research Group Джона Динсдейла (John Dinsdale), на выбор места для инфраструктуры гиперскейлеров влияет ряд факторов, включая близость клиентов, лёгкость ведения дел, местные финансовые льготы, политическая стабильность и минимальные естественные угрозы. Именно поэтому крупнейшие экономические хабы вроде Лондона и Нью-Йорка по совокупности всех факторов могут уступать американской сельской глубинке в Орегоне, Айове и Небраске.

Хотя в ближайшие годы определяющие факторы для размещения могут остаться в основном прежними, приоритеты при выборе мест могут измениться в пользу развивающихся рынков вроде Юго-Восточной Азии и Латинской Америки. Недавно Synergy Research Group также сообщала, что на долю гиперскейлеров приходится уже более 40 % ёмкости всех дата-центров в мире.

Проект FreeBSD опубликовал отчёт за II квартал 2024 года, в котором описана проделанная работа ведущими разработчиками BSD. По данным Phoronix, среди выполненных за последний квартал задач FreeBSD Foundation выделяются проекты по улучшению аудиостека, улучшению OpenZFS, переносу VPP (Vector Packet Processing) на FreeBSD и улучшению поддержки беспроводных сетей.

Также стало известно, что AMD и FreeBSD Foundation сотрудничают в разработке полноценного драйвера AMD IOMMU. Цель проекта — улучшить поддержку серверов на базе AMD EPYC во FreeBSD, в том числе с более чем 256 ядрами, сделать интеграцию с системой виртуализации Bhyve и другие усовершенствования.

«Продолжалась работа над совместным проектом Advanced Micro Devices (AMD) и FreeBSD Foundation по разработке драйвера AMD IOMMU. Этот драйвер позволит FreeBSD полностью поддерживать более 256 ядер с такими функциями, как отображение [mapping] CPU, а также будет включать интеграцию Bhyve. Константин Белоусов работал над различными частями проекта, включая подключение драйвера, определение регистров, парсер таблиц ACPI и реализацию служебных функций. Два ключевых компонента, которые необходимо доделать, — это обработка контекста, которая в основном является обобщением кода Intel DMAR, и создание таблиц страниц. После этого можно будет активировать драйвер AMD для тестирования. Чтобы следить за работой Константина, ищите коммиты в репозитории с тегом «Sponsored by fields for Advanced Micro Devices (AMD) and The FreeBSD Foundation»», — говорится в отчёте.

Источник изображения: FreeBSD

Появление поддержки со стороны AMD для сообщества FreeBSD является значимым событием, поскольку ранее только Intel славилась активным вкладом в развитие проекта и предоставлением инженерных ресурсов на протяжении многих лет. В этом свете интересно, является ли поддержка AMD жестом доброй воли или же у компании есть клиенты, которым необходимы совместимость и оптимизации для FreeBSD. Среди крупных игроков, в инфраструктуре которых активно используется FreeBSD, есть, например, Netflix. В последние годы Arm также начала активно участвовать в развитии ОС.

Кроме того, FreeBSD продолжает активную работу по поддержке архитектуры RISC-V. Так, уже существует экспериментальная поддержка Bhyve. Кроме того, одной из новых разработок для ядра FreeBSD стало создание Zcond — легковесного механизма условного выполнения, аналогичного интерфейсу static_key в Linux.