Словацкая компания Tachyum, разрабатывающая процессоры Prodigy с уникальной архитектурой, объявила о выпуске руководства по оптимизации производительности этих чипов. Точнее, для FPGA-эмулятора Prodigy, поскольку самих чипов всё ещё нет. Огромный документ на 1600 страниц содержит подробную информацию о том, как в полной мере воспользоваться потенциалом новинк.

Первая информация о разработке Prodigy появилась в 2019–2020 гг. Эти суперпроцессоры, как утверждается, объединяют возможности CPU, GPU и TPU. Они предназначены для решения различных ресурсоёмких задач, связанных в том числе с ИИ и машинным обучением.

Сроки выпуска Prodigy несколько раз пересматривались: сначала выход чипов был перенесён с 2021-го на 2022 год, затем — на 2023 год, а впоследствии — на 2024-й. В соответствии с текущими планами Tachyum намерена начать отгрузку образов чипов в 2025 году.

Источник изображения: Tachyum

Подготовленное руководство для изделий Prodigy, как заявляет компания, содержит рекомендации по созданию высокопроизводительного ПО для этой платформы. Документ описывает конкретные методы оптимизации, включая управление ограничениями диспетчеризации, улучшение процедур работы памяти и пр. Кроме того, описаны способы обработки операций кеширования и доступа к специальным регистрам для тонкой настройки с целью достижения максимальной производительности.

В руководстве рассматриваются особенности чипов. Архитектура набора инструкций Prodigy (ISA) представляет собой смесь RISC и CISC, но не включает какие-либо сложные и/или длинные и неэффективные инструкции переменной длины. Все инструкции имеют ширину 32 или 64 бит, а некоторые из них содержат функции доступа к памяти для дальнейшего повышения производительности.

Изделия Prodigy объединяют до 192 ядер с тактовой частотой до 5 ГГц и выше. Реализованы 16 каналов памяти DDR5-7200 с возможностью использования до 32 Тбайт ОЗУ в расчёте на процессорный разъём. Поддерживаются 96 линий PCIe 5.0. Планируемая технология производства — 5 нм. В конце 2023 года Tachyum получила заказ на поставку чипов Prodigy для создания суперкомпьютера с ИИ-производительностью до 8 Зфлопс.

Европейская комиссия одобрила сделку по приобретению компанией NVIDIA стартапа Run:ai из Тель-Авива (Израиль), который специализируется на разработке ПО для управления рабочими нагрузками ИИ и оркестрации на базе Kubernetes. Регуляторы пришли к выводу, что слияние не создаст проблем с конкуренцией в Европейской экономической зоне.

Стартап Run:ai основан в 2018 году. В марте 2022-го он получил $75 млн в ходе раунда финансирования Series C. Компания создаёт специализированные инструменты, которые позволяют более эффективно использовать вычислительные ресурсы при работе с ИИ-приложениями.

NVIDIA объявила о планах по поглощению Run:ai в апреле нынешнего года. Тогда говорилось, что стоимость сделки может составлять до $1 млрд. Вместе с тем израильская газета Calcalist оценила актив в $700 млн. Изучением возможных последствий слияния занялись регулирующие органы в США и Европе. В частности, американское Министерство юстиции заподозрило, что NVIDIA покупает Run:ai с тем, чтобы в дальнейшем «похоронить» технологии этого стартапа. Дело в том, что платформа Run:ai позволяет уменьшить потребность в вычислительных ресурсах при работе с ИИ, а следовательно, снизить количество необходимых ускорителей. Это может привести к тому, что некоторые клиенты станут покупать меньше продуктов NVIDIA.

Источник изображения: Run:ai

Еврокомиссия дала сделке зелёный свет. В официальном заявлении регулятора сказано, что деятельность NVIDIA и Run:ai не пересекается. Подчёркивается, что NVIDIA занимает доминирующее положение на мировом рынке GPU. Однако у этой компании не будет «ни технических возможностей, ни стимулов для того, чтобы препятствовать совместимости своих GPU с конкурирующим ПО для оркестрации». Кроме того, как отмечается, Run:ai сейчас «не занимает существенной позиции» на рассматриваемом рынке ПО. Клиенты по-прежнему будут иметь доступ к альтернативным продуктам с функциями, аналогичными тем, что предлагает Run:ai.

«Комиссия пришла к выводу, что предлагаемое приобретение не вызовет проблем с конкуренцией ни на одном из рассмотренных рынков в Европейской экономической зоне. Поэтому сделка безоговорочно одобрена», — сказано в заявлении регулятора.

«Яндекс» объявил о выходе нового компонента YDB DWH для поддержки аналитической обработки данных в СУБД YDB собственной разработки. СУБД YDB поддерживает работу со сложными аналитическими запросами (OLAP) — благодаря массивно-параллельной архитектуре (МРР) обеспечивает хранение сотен Тбайт данных и быстрое выполнение запросов, а также горизонтально масштабируется за счёт автоматического партиционирования по объёму и нагрузке.

Как сообщается, аналитическая функциональность компонента YDB DWH включает колоночные таблицы с консистентным хранением данных и управление смешанной нагрузкой. Платформа СУБД Яндекса также включает движок выполнения запросов со спиллингом данных на диск, стоимостной оптимизатор и поддержку федеративных SQL-запросов к внешним источникам данных: S3, PostgreSQL, Greenplum, Oracle, MS SQL. Это позволяет создавать корпоративного хранилища данных. В перспективе — поддержка SQL-диалекта PostgreSQL для бесшовной интеграции как для OLAP-, так и OLTP-сценариев.

Источник изображения: Yandex Cloud

Благодаря запуску YDB DWH, СУБД YDB стала универсальным решением для высокопроизводительной обработки транзакций и аналитических запросов, говорит компания. Подчёркивается, что рынку не хватает универсальных СУБД, способных работать в бизнес-критичных сценариях. Данное решение особенно актуально для финансового, телекоммуникационного и ретейла. По оценке «Яндекса», рынок систем по обработке данных в России в 2025 году составит 55 млрд руб. При этом доля аналитических СУБД будет составлять 32 % общего рынка обработки данных.

Помимо YDB DWH, в линейку лицензируемых надстроек СУБД YDB также входит шина данных YDB Topics и надстройка для задач машинного обучения YDB Search. Основной компонент платформы — компонент YDB Enterprise для высокопроизводительной обработки транзакций. Платформа предлагается по коммерческой лицензии для установки в контуре заказчика и как управляемый сервис в Yandex Cloud.

Несмотря на рекордный рост выручки в I квартале 2025 финансового года, увеличившейся год к году на 84 %, акции Micron упали после публикации квартального отчёта на 16 % в четверг, ставший худшим днём для компании на бирже с марта 2020 года и начала пандемии COVID-19. Виной тому был слабый прогноз на II финансовый квартал, разочаровавший инвесторов.

«Негативная реакция рынка отражает обоснованные опасения по поводу невыполнения прогнозов выручки на $1 млрд и краткосрочной слабости спроса на традиционных рынках, таких как ПК, автомобили и промышленные рынки», — сказал Майкл Эшли Шульман (Michael Ashley Schulman), партнёр и главный инвестиционный директор Running Point Capital Advisors.

Генеральный директор Micron Санджай Мехротра (Sanjay Mehrotra) заявил в ходе отчёта за I квартал 2025 финансового года, завершившийся 28 ноября, что сейчас наблюдается более медленный рост в части потребительских устройств и «корректировка запасов» у компаний-партнёров. Он также отметил, что выручка от продуктов для ЦОД впервые превысила 50 % всей выручки компании.

Источник изображений: Microsoft

Выручка Micron составила $8,71 млрд, превысив показатель аналогичного квартала в 2024 финансовом году в размере $4,73 млрд и предыдущего квартала в размере $7,75 млрд, что в целом соответствует оценкам аналитиков, согласно данным, собранным LSEG. Рост был обусловлен 400-процентным ростом выручки продуктов для ЦОД, в основном из-за спроса на ИИ, сообщила Micron. Это была самая высокая выручка Micron в I квартале за последние 10 лет. Скорректированная прибыль (non-GAAP) на акцию равняется $1,79, что выше средней оценки аналитиков, опрошенных LSEG, в размере $1,75.

Выручка от DRAM составила $6,4 млрд, увеличившись на 86,8 % в годовом исчислении. Продажи памяти NAND составили $22 млрд, что представляет собой рост на 78,9 % в годовом исчислении, но последовательное падение на 5 %, поскольку общее количество отгруженных битов сократилось вместе со средними продажными ценами. Драйвером выручки были продажи решений для ЦОД, выросшие более чем на 400 % в годовом исчислении и на 40 % последовательно, достигнув рекордного уровня.

Выручка от продаж крупнейшему клиенту-провайдеру ЦОД составила примерно 13 % от общего дохода — $1,13 млрд. Был также получен рекордный доход от поставок SSD для ЦОД и установлены новые рекорды по доле рынка SSD для ЦОД и общего объёма SSD. Поставки памяти HBM превысили план, и более чем вдвое — показатель предыдущего квартала.

Подразделение Compute and Networking (CNBU) получило выручку в размере $4,4 млрд (рост год к году на 153,3 %), мобильное подразделение (Mobile, MBU) — $1,5 млрд (рост на 16 %). У подразделения встраиваемых решений (Embedded, EBU) выручка составила $1,1 млрд (рост — 6,1 %), у подразделения решений для СХД (SBU) — $1,7 млрд (рост — 160,3 %).

«Хотя часть бизнеса Micron, связанная с ЦОД ИИ, остается устойчивой, очевидно, что более медленные, чем ожидалось, продажи потребительских ПК, смартфонов и автомобилей влияют на перспективы компании и застали рынок врасплох», — сообщил агентству Reuters Боб О'Доннелл (Bob O'Donnell), президент и главный аналитик TECHnalysis Research.

Компания, один из трёх поставщиков чипов HBM наряду с южнокорейскими SK Hynix и Samsung, теперь сосредоточена на увеличении производства чипов HBM — к марту текущего года компания продала всю HBM3E-память, которую собиралась выпустить в 2024 году и начале 2025 года. «Наш ассортимент продукции смещается в сторону большего количества продуктов, которые необходимы на рынке», — заявил Мехротра в ходе телефонной конференции с аналитиками.

Micron сообщила, что во II финансовом квартале ожидает выручку в размере $7,90 млрд ± $200 млн, и скорректированную прибыль (non-GAAP) на акцию в размере $1,43 ± $0,10. В свою очередь, аналитики, опрошенные LSEG, ожидают выручку в размере $8,98 млрд и скорректированную прибыль (non-GAAP) на акцию в размере $1,91.

«Micron занимает самую сильную конкурентную позицию за всю свою историю, и мы продолжаем наращивать долю во всех высокорентабельных, стратегически важных категориях продуктов в нашей отрасли, сохраняя при этом общую стабильную долю рынка как DRAM, так и NAND», — подчеркнул Мехротра. «Хотя потребительские рынки в краткосрочной перспективе слабее, мы ожидаем возвращения к росту во II половине нашего финансового года», — добавил он.

Искусственный интеллект стремительно преобразует мировую экономику, но новое исследование Boston Consulting Group (BCG) свидетельствует, что реальность не так радужна, как кажется. По мнению экспертов, 70 % экономик мира не готовы к новой технологической революции и масштабному внедрению ИИ, сообщает eWeek.

Предполагается, что экономики мира должны оценить свою готовность к массовому внедрению ИИ, чтобы эффективно управлять будущими трансформациями в соответствующем секторе. В сводном материале BCG AI Maturity Matrix оцениваются 73 экономики мира по уязвимости к влиянию ИИ и готовности адаптироваться к изменениям. В зависимости от уровня уязвимости экономики разделены на шесть категорий.

При этом только США, материковый Китай, Великобритания, Канада и Сингапур считаются лидерами в сфере ИИ. Они активно инвестируют в исследования и разработки, располагают большими кадровыми ресурсами, специализирующимися на ИИ, и уже имеют процветающие ИИ-экосистемы. В то же время экономики вроде Люксембурга и Гонконга подвержены серьёзным рискам, связанным с внедрением ИИ в секторах вроде розничной торговли или финансовых сервисов — ИИ способен значимо изменить эти отрасли, а им не хватает зрелости для адаптации к изменениям.

Источник изображения: BCG

Индекс ASPIRE, выпускаемый BCG, оценивает готовность экономик к развитию ИИ по шести ключевым параметрам: амбициям, навыкам, политике, инвестициям, исследованиям и экосистеме. Китай лидирует по количеству патентов в этой сфере, а США и Сингапур — в развитии кадров и экосистемы. Данные по России в материалах отсутствуют. При этом многие экономики отстают от лидеров как в исследованиях, так и по уровню развития экосистемы, не имея возможности эффективно интегрировать ИИ. Для таких регионов необходимы стратегическое планирование и целевые инвестиции.

ИИ неизбежно продолжает перестраивать самые разные отрасли, увеличивая разрыв между готовностью экономик к изменениям и их уязвимостью к ним. Чтобы преодолеть этот разрыв, необходимы новые инициативы, долгосрочное планирование, инвестиции в образование, исследования и разработки, а также инфраструктура. Экономики, которые быстро адаптируются к ИИ-технологиям, ожидает существенный рост, а те, что откладывают изменения, рискуют остаться в отстающих в мире, где ИИ играет важную роль.

Недавно состояние ИИ-индустрии оценили в Стэнфордском университете по ряду параметров. Согласно рейтингу, США занимают первое место по развитию в данной сфере, с большим отрывом за ней следует Китай, а Россия занимает 29 позицию. Впрочем, развитие ИИ в данном рейтинге оценивалось по ряду параметров, не имеющих прямого отношения к технологическому развитию.

В ходе расследования Horizon Inquiry, посвящённого скандалу с британской почтовой службой, вскрылись неприглядные факты. Ошибки в ПО Horizon, из-за которых многих сотрудников несправедливо обвинили в мошенничестве, перекладываются почтой и разработчиком ПО, компанией Fujitsu, друг на друга, сообщает The Register. Fujitsu заявляет, что сообщала об ошибках в ПО, которые игнорировались ответственными лицами. Почта же утверждает, что ничего не знала и вообще зависела от японской компании.

В своё время ПО Horizon стало причиной множества бухгалтерских сбоев, в результате которых сотрудники британской почтовой службы подверглись преследованию, в том числе уголовному. По словам юристов Fujitsu, поставщик IT-платформы Horizon не несёт ответственности за десятки сломанных жизней. Компания якобы в течение 25 лет сообщала почте о багах, ошибках и дефектах ПО и их влиянии на бухгалтерию государственной организации. Расследование началось в 2021 году и продолжается до сих пор.

Источник изображения: Michael Jasmund / Unsplash

Horizon представляет собой систему электронных терминалов продаж (EPOS) и финансового учёта, использующуюся Почтовой службой Великобритании. Она внедрялась компанией ICL, которую позже приобрела Fujitsu. С 1999 по 2015 гг. 736 управляющих почтовыми отделениями были неправомерно обвинены в мошенничестве — на деле причиной неточностей в бухгалтерии были ошибки ПО. В результате многие бывшие сотрудники почты стали банкротами, другие попали в тюрьму, а некоторые свели счёты с жизнью. Хотя многие обвинения сняли в судах, 60 человек по разным причинам не дожили до оправдания.

Юридический представитель почты отрицает, что руководство знало о проблемах, а адвокат бывшей главы структуры Паулы Веннеллс (Paula Vennells) отрицает, что та знала о проблемах с Horizon. Представитель Fujitsu заявил, что компания установила как минимум 70 причастных, в отношении которых есть свидетельства того, что они всё время знали о проблеме. В том числе речь идёт о членах совета директоров Почтовой службы Великобритании, её топ-менеджерах и сотрудниках службы безопасности, а также командах, участвовавших в расследовании инцидентов.

Утверждается, что почта пыталась замять и скрыть свою ответственность за скандал и несправедливо пытается обвинить во всём Fujitsu и другие «третьи стороны». В числе прочего почта пыталась выдать себя за «подчинённого партнёра» Fujitsu, находящегося от той в «технически зависимом» состоянии, но расследованием заявления не подтверждаются.

Источник изображения: Joanna Kosinska / Unsplash

Представитель Почтовой службы, в свою очередь, заявил, что та сожалеет о том, что положилась на японскую компанию, понадеявшись на надёжность Horizon. В результате ложное предположение об отсутствии ошибок якобы помешало вовремя принять меры — сыграло роль и желание защитить бренд и экономические интересы компании, а иерархия в организации не давала низовым сотрудникам дать делу об ошибках ход. Кроме того, руководящие должности занимали недостаточно компетентные люди, что привело к ряду управленческих ошибок. Обмена ключевой информации о Horizon в рамках почтовой структуры не происходило ни «вертикально», ни «горизонтально».

Адвокат Саманта Лик (Samantha Leek), защищающая интересы непосредственно бывшей главы Почтовой службы Великобритании Веннелс, заявила, что бывшие коллеги подзащитной из числа топ-менеджеров не передали важную информацию о Horizon ни совету директоров, ни генеральному директору. Утверждается, что бывшая глава почты «опустошена» фактом того, что с ней не поделились сведениями и не имеет желания «показывать пальцами» на других или спекулировать, почему информацию не передали.

Это не единственный случай в Великобритании, когда ПО проверенных компаний становится причиной катастрофических событий. В своё время ERP-система Oracle фактически довела до банкротства муниципалитет Бирмингема (крупнейший в Европе) — история не закончена до сих пор, а расходы превысили сотню миллионов фунтов.

В последнем докладе Международного энергетического агентства (IEA), посвящённого «угольной» генерации электричества, сообщается, что в 2024 году потребление угля в энергетике достигло рекордных за всю историю значений. Хотя большая часть роста расходов этого топлива приходится на Китай и Индию, не всё хорошо и с более благополучными в контексте «зелёной повестки» странами, сообщает Datacenter Dynamics.

Согласно докладу, доминируют всё равно рынки КНР и Индии. Спрос на уголь в Китае должен в 2024 году вырасти на 1 %, достигнув 4,9 млрд тонн, в Индии — на 5 % до 1,3 млрд тонн. Впрочем, в IEA допускают, что спрос может выйти на плато до 2027 года, если Китай начнёт избавляться от зависимости от угольной энергетики.

На сегодня КНР потребляет на 30 % больше угля, чем остальной мир вместе взятый. Два ключевых драйвера роста — развитие сервисов, ранее использовавших другие типы топлива, и развитие ИИ ЦОД. В последние годы Китай интенсивно развивает инфраструктуру ЦОД. По официальным данным, страна инвестировала в дата-центры более $6,1 млрд с 2022 года. В итоге потребление электричества ЦОД в стране уже к 2030 году должно вырасти более чем на 5 %.

Также подчёркивается, что в т.н. «развитых» странах снижение потребления угля замедлилось, это особенно очевидно для стран Евросоюза и США. Там спрос на электричество привёл к замедлению соответствующих показателей. В результате потребление угля в ЕС и США снизится в текущем году на 12 % и 5 % соответственно, в сравнении с 23 % и 17 % годом ранее.

Источник изображения: Marcos Assis/unspalsh.com

Некоторые американские поставщики электроэнергии уже сообщили, что именно спрос со стороны дата-центров на энергию привёл к тому, что энергетикам пришлось продлить срок жизни угольных электростанций. С ростом спроса на электричество коммунальные службы вынуждены использовать все доступные типы энергетики, особенно в регионах с большим числом ЦОД. По некоторым оценкам, к 2030 году ЦОД будут потреблять 9 % электроэнергии США ежегодно, в сравнении с 4 % в 2023 году.

Источник изображения: IEA

В прошлом месяце американская коммунальная компания Southern Co. заявила, что рассматривает продление срока работы угольных электростанций для удовлетворения спроса ЦОД и других коммерческих и промышленных объектов на электроэнергию. В частности, речь идёт об угольной электростанции Plant Bowen в Джорджии мощностью 3,45 ГВт.

Источник изображения: IEA

Дополнительно известно, что поставщик энергии с угольных станций Hallador Energy сообщил о росте спроса на поставки электричества для ЦОД. Также он видит «значимые возможности» в секторе ископаемого топлива. Недавно он подписал не обязывающее соглашение с неназванным оператором ЦОД для поставки «угольного» электричества в течение длительного периода.

Регулятор NERC бьёт тревогу, утверждая, что ресурсоёмкий ИИ представляет угрозу для североамериканской электросети, а бизнес продолжает наращивать спрос. Недавно глава OpenAI Сэм Альтман (Sam Altman) выступил с идеей создания целой сети 5-ГВт ЦОД в Соединённых Штатах. Правительство страны уже готовит план строительства ИИ ЦОД и электростанций на федеральных землях, пусть и в ущерб экологии.

Selectel, крупнейший независимый провайдер сервисов IT-инфраструктуры в России, открыл первое в России мультирегиональное объектное хранилище с выбором локации в разных федеральных округах — Москве и Санкт-Петербурге. Новое решение позволит размещать данные, обеспечивая более высокую надёжность, производительность и катастрофоустойчивость инфраструктуры.

Добавление мультирегиональности в хранилище S3 Selectel открывает новые возможности для современных IT-команд, которые теперь могут создавать бакеты в разных географических локациях, выбирая оптимальное расположение для хранения и обработки данных. Этот подход позволяет разнести данные по нескольким дата-центрам, минимизируя риски и обеспечивая максимальную катастрофоустойчивость. Критически важные данные теперь можно дублировать между регионами, сохраняя их на расстоянии более 750 км друг от друга. В случае сбоя в одном регионе, будь то проблемы с интернетом или электропитанием, или даже масштабный катаклизм, данные останутся доступными из резервного региона.

Источник изображения: Selectel

Новая функциональность также помогает улучшить производительность благодаря снижению задержек при доступе к данным. Географическое расположение хранилища ближе к точкам нагрузки значительно уменьшает время ожидания. Это особенно актуально для бизнеса, который имеет представительства сразу в нескольких регионах или по всей России, и нуждается в гибкой IT-инфраструктуре, размещая данные там, где это необходимо, исходя из своих задач.

«Одна из зон доступности нашего мультирегионального хранилища расположена в пуле gis-1 и подходит для хранения данных согласно требованиям 17 приказа ФСТЭК, что крайне важно для компаний, которые работают с государственными информационными системами, — отмечает Александр Гришин, менеджер продуктов Selectel. — Наша команда уже работает над расширением географии хранилища, и в ближайшее время мы планируем запустить новые регионы и зоны доступности».

Администрация действующего президента США Джо Байдена (Joe Biden) разрабатывает план строительство крупных ИИ ЦОД и электростанций на федеральных землях. Причина таких решительных мер — вероятность отстать от других стран в гонке за доминирование в сфере ИИ, сообщает Datacenter Knowledge. План Байдена стал неожиданностью для многих представителей индустрии, уже приготовившихся работать с администрацией будущего президента Дональда Трампа (Donald Trump).

План намерены оформить в виде специального указа, который президент подпишет до окончания срока полномочий 20 января 2025 года. Предполагается, что он ослабит экологические ограничения для отдельных участков федеральных земель — они ещё не определены. По данным источников, в первую очередь речь идёт о возможности строительства ЦОД нового поколения ёмкостью не менее 1 ГВт. Вероятно, на тех же участках построят и специальные электростанции на природном газе — потом вместо газа будет использоваться ветряная или солнечная энергия.

Такие меры, похоже, приходится принимать для решения проблем в цепочках поставок и с дефицитом энергии, грозящим ограничить рост ИИ. Новый план даст возможность компаниям вроде OpenAI, Microsoft и Google строить новые электростанции, независимые от региональных электросетей, уже не способных справиться с огромным спросом. Появилась информация, что завершить работу над документом до окончания срока полномочий Байдена могут и не успеть.

Представители властей предупреждают, что индустрия ИИ в США может отстать от конкурентов, в первую очередь Китая, способных стремительно построить новую энергетическую инфраструктуру для роста ЦОД. Выражается беспокойств и в связи с экономическими последствиями передачи ИИ-технологий другим странам.

Пока чиновники беспокоятся о первенстве в сфере ИИ, коалиция крупных экогрупп агрессивно выступает против использования в данном контексте федеральных земель — из-за угрозы климату и окружающей среде в целом. Им вторят некоторые сенаторы и исследователи.

Новый указ призван способствовать развитию и более ранних проектов властей. Например «Закон о чипах» от 2022 года представляет собой одну из крупнейших программ развития промышленности в истории США, с многомиллиардными инвестициями со стороны государства, строительством заводов по выпуску полупроводников на территории страны и др. В этом году подписаны законы, смягчающие экологические ограничения при производстве чипов и смежных компонентов.

Источник изорбражения: Mina Rad/unsplash.com

Потребляемая американскими ЦОД мощность выросла на 50 % с прошлого года, ожидается, что к концу следующего она вырастет ещё на столько же. К 2030 году ЦОД будут потреблять до 17 % всей электроэнергии США, в четыре с лишним раза больше, чем сегодня. Хотя учёные США считают, что у страны большая фора в гонке ИИ, сохранение лидерства требует огромных ресурсов и нужно быстро удовлетворить потребности ЦОД в энергии. Сейчас в Соединённых Штатах более 3 тыс. ЦОД, поддержку окажут в первую очередь гиперскейлерам.

Изначально в рамках указа рассматривалось даже применение «Закона об оборонном производстве», дававшего чрезвычайные полномочия федеральным властям для укрепления промышленности и цепочек поставок, но пока эту идею отложили. Тем временем техногиганты давно требуют федеральной поддержки. Глава OpenAI Сэм Альтман (Sam Altman) недавно продвигал идеи создания сети гигаваттных ЦОД с господдержкой.

В OpenAI заявляли, что США хотя и являются лидером в ИИ-индустрии, Китай развивается всё быстрее, наращивая производство чипов и энергии. В США же с поставками энергии большие проблемы. Некоторые эксперты опасаются, что при Трампе вместо производства «чистой» энергии для ЦОД могут сместить акцент на генерацию больших объёмов на ископаемом топливе — указ соперника могут интерпретировать иначе, чем предполагалось. Недавно американский регулятор NERC заявил, что ИИ представляет угрозу для электросети Северной Америки.

Помимо классических файловых и блочных систем хранения данных в бизнес-процессах часто используются объектные СХД, позволяющие хранить большие объёмы неструктурированных данных, для извлечения которых используются специальные протоколы, наиболее распространённым из которых является S3. Такие хранилища легко масштабируются и обеспечивают расширенные возможности хранения метаданных, а также управления временем и другими параметрами хранения.

Компания YADRO имеет в своём арсенале программно-аппаратное решение TATLIN.OBJECT, полностью разработанное в России с учётом местных особенностей, но при этом не уступающее лучшим зарубежным объектным СХД. В основе решения лежит децентрализованный движок хранения данных, изначально спроектированный специалистами компании для работы в сложных условиях — например, при нестабильности функционирования глобальной сети, отказе накопителей или выходе из строя части узлов.

Источник здесь и далее: YADRO

Аппаратная часть TATLIN.OBJECT реализована с помощью специализированных серверных платформ. Они тщательно проверены на совместимость и используют подключение 10/25GbE. В качестве накопителей в узлах хранения данных используются Nearline HDD с интерфейсом SAS, а для кеширования возможна установка до четырёх SSD объёмом по 1,92 Тбайт.

Пространство на накопителях сформировано в «шарды». Каждый шард является минимальной «единицей» хранения объектов и представляет собой логическую сущность, состоящую из ёмкости HDD и части ёмкости твердотельного накопителя.

В зависимости от размера объекта система может осуществлять его сохранение по-разному: крупные объекты разделяются на несколько объектов поменьше, а малые — напротив, объединяются в более крупную структуру. Это гарантирует оптимальную производительность и рациональное использование дискового пространства, причём данная механика полностью прозрачна с точки зрения пользователя.

Помимо этого, TATLIN.OBJECT характеризуется высокой надёжностью: система не имеет единых точек отказа, обеспечивает самовосстановление после сбоев, а в случае необходимости имеет механизм быстрой эвакуации данных с узла, показавшего аварийный статус. Более того, сам формат хранения данных реализован с учетом возможной необходимости ручного извлечения и восстановления!

Вместе с тем система легко масштабируется практически до любых размеров, вплоть до сети узлов, расположенных в географически разнесённых ЦОД. Высокая производительность при этом обеспечивается движком, в котором реализован развитый параллелизм обработки запросов множеством узлов одновременно.

Также производительности способствует система интеллектуального сжатия данных в зависимости от типа объекта, а в анонсированной недавно версии 1.6.0 в TATLIN.OBJECT появилась поддержка так называемого «стирающего кодирования» (erasure coding). Это помехоустойчивый, распределенный и очень эффективный алгоритм кодирования, позволяющий избежать многократного увеличения объёма данных, характерного для репликации.

При использовании EC данные нарезаются на куски (chunks) меньшего объёма, которые затем распределяются по узлам хранения, а при чтении вновь собираются воедино. Размер и количество необходимых для полного восстановления копий данных при этом минимален, что при соблюдении условий отказоустойчивости даёт повышенную производительность и максимально эффективное использование дискового пространства.

Помимо erasure coding, в новой версии TATLIN.OBJECT была существенно улучшена система контроля доступа. Так, дальнейшее развитие получили IAM-совместимые методы разграничения доступа к ресурсам СХД. Есть и гибкие политики хранения, и аудит действий администратора, и другие механизмы защиты от несанкционированного доступа.

Разработчики отлично понимают, что СХД не может функционировать в вакууме, поэтому TATLIN.OBJECT изначально спроектирована с учётом совместимости с другими российскими программными комплексами. Среди них есть «Кибер Бэкап», «Кибер Инфраструктура», «Закрома.Хранение», «Закрома.Архив» и др. Обеспечена совместимость с наиболее востребованными вызовами AWS S3 API.

Кроме того, поддерживается интеграция с корпоративными системами мониторинга и внешними системами тарификации конечных пользователей хранилища. Поддерживается REST API для автоматизации, имеется набор шаблонов Zabbix, а также SDK для языка Go и спецификации protobuf/gRPC API для других языков. TATLIN.OBJECT легко интегрируется с популярной системой визуализации Grafana и озером Arenadata Hadoop, а благодаря поддержке интерфейса OCI Distribution СХД можно использовать для хранения образов контейнеров Kubernetes.

Таким образом, TATLIN.OBJECT являет собой современное универсальное решение для объектного хранения данных, пригодное, в том числе для организации масштабных CDN-сетей с региональным расположением кеширующих серверов и гибкой настройкой предоставления услуг по хранению клиентских данных. Возможны иные сценарии, такие как хранилище резеревных копий или контейнеров Kubernetes.

Система TATLIN.OBJECT доступна для заказа как законченный программно-аппаратный комплекс, включающий в себя минимум четыре узла. Это минимальное количество серверов на одну площадку ЦОД, максимальное же на данный момент составляет 100 узлов. Каждый узел, как уже упоминалось, может снабжаться SSD для кеширования на чтение и запись. Также он содержит 6 или 12 дисков NL-SAS.

При этом лицензируется только полезная ёмкость, без учёта резервирования и реплицирования, гранулярность при этом составляет 1 Тбайт. Само резервирование и степень защиты данных определяется настройкой «фактора репликации» — либо количеством копий объекта в системе, либо политиками «стирающего кодирования» (erasure coding).

Установка и обновление TATLIN.OBJECT осуществляется силами инженеров компании YADRO. Доступны различные программы технической поддержки, учитывающие требования заказчика к нормативным срокам реакции на заявки, особенности инфраструктуры и ряд других факторов. Компания планирует активно развивать данное решение и далее: уже на I квартал 2025 года запланировано внедрение поддержки S3 Lifecycles, вирVirtual-Hosted style адресации, метода PATCH и других новых функций.