Хотя нефтегазовый гигант ExxonMobil и не пользуется прежним авторитетом в эпоху продвижения экобезопасных технологий, его продукция по-прежнему востребована. Как сообщает Datacenter Dynamics, в числе прочего речь идёт и об охлаждающих жидкостях на основе ископаемых углеводородов — они используются в СЖО, а экономия на совокупной стоимости владения (TCO) ЦОД с их применением составляет до 40 % в сравнении с классическим воздушным охлаждением, заявляет компания. Кроме того, улучшается показатель PUE.

Так, в рамках мероприятия Open Compute Project (OCP) Global Summit компания анонсировала серию «синтетических и несинтетических жидкостей» EM DC 3152/3150/315, 3220, 3235 Super, 3250, 1150 и 1210 (AP). Поскольку дата-центры давно испытывают проблемы в связи с ростом спроса и вычислительной плотности, вопрос использования СЖО, в том числе иммерсионных, становится всё более актуальным. При этом будущее весьма эффективных PFAS-химикатов пока что находится под вопросом. Впрочем, сегодня доступны даже охлаждающие жидкости растительного происхождения, а ExxonMobil предлагает собственные варианты на основе углеводородов. Похожие решения есть у Castrol и Shell.

Источник изображения: ExxonMobil

ExxonMobil намеревается расширять добычу ископаемых ресурсов и дальше, несмотря на заявления ООН и прочих структур о вреде такой деятельности для окружающей среды. Вместе с тем компания вкладывает миллионы долларов в исследования, свидетельствующие об отсутствии влияния использования ископаемого топлива на глобальное потепление. Кроме того, ExxonMobil обещает к 2050 году свести к нулю выбросы в атмосферу, связанные с её действиями, параллельно отказываясь нести какую-либо ответственность за последствия использования добытых ей нефти и газа.

На мероприятии 2023 OCP Global Summit компания Axiado представила новый класс аппаратных сопроцессоров — TCU (Trusted Control/Compute Unit), предназначенный для управления и защиты IT-инфраструктуры от различного рода атак.

Защитных механик в мире ИТ существует множество, но и киберпреступники постоянно совершенствуют методы атак, задействуя порой самые экзотические атак по сторонним каналам, к примеру, используя механизмы динамического управления напряжением и частотой в современных процессорах. Не всегда спасает положение даже подход «нулевого доверия» (Zero Trust), поскольку программная реализация также уязвима ко взлому или утере ключей.

Источник изображений здесь и далее: OCP/Axiado

Решение Axiado — аппаратный контроль в реальном времени, использующий ИИ, который позволяет предсказывать и предотвращать разного рода атаки, дообучаясь в процессе. Последнее, по мнению компании, быть на шаг впереди злоумышленников и предотвращать возможный взлом ещё на этапе первых подозрительных действий, производимых в системе. Чипы серии AX2000/3000 способны выполнять и другие функции: Platform Root of Trust, BMC или TPM. При этом предполагается использование модульной и открытой программной архитектуры на основе PFR (Platform Firmware Resilence) и OpenBMC.

Чипы Axiado AX2000/3000 содержат четыре инференс-движка общей мощностью 4 Топс, четыре ядра общего назначения Arm Cortex A53, а также модули доверенного и привилегированного исполнения, блок брандмауэра и криптодвижок. Большая часть модулей решения Axiado работает под управлением открытой ОС реального времени Zephyr. Клиент легко может доработать платформу собственными модулями.

Axiado активно сотрудничает с OCP и уже разработала несколько вариантов адаптеров на базе TCU для продвигаемых консорциумом серверных форм-факторов. В портфолио компании представлены адаптеры DC-SCM 2.0 (Secure Control Module) как в вертикальном, так и в горизонтальном форм-факторах, а также в виде классического PCIe-адаптера NCM (Network Compute Module).

Компания уже успела договориться о сотрудничестве с GIGABYTE, VVDN, Wiwynn, Senao и Tyan. Но этим список партнёров Axiado не ограничивается: в её решениях заинтересованы также крупные облачные провайдеры, включая AWS, Microsoft, Google и Meta✴, а также ряд других компаний и системных интеграторов.

Сейчас уже очевидно, что ставка на огромные монолитные кристаллы в деле производства сложных чипов себя исчерпала и будущее за чиплетными технологиями. Но каким будет это будущее?

Комитет стандартизации полупроводниковой продукции (JEDEC) и организация Open Compute Project на проходящем в настоящее время мероприятии 2023 OCP Global Summit объявили о сотрудничестве с целью выработки единого набора стандартов и унификации чиплетной экосистемы.

Такой альянс способен задействовать сильнейшие стороны участников: влиятельность JEDEC в деле установления мировых стандартов в области микроэлектроники и опыт OCP в разработке устройств системного уровня, способствующий появлению новых технологий и рынков. Это позволит избежать фрагментации и излишних затрат, вызванных дублированием усилий при разработке новых устройств.

Источник изображений здесь и далее: Open Compute Project

OCP уже располагает спецификациями CDXML (Chiplet Data Extensible Markup Language), включающими стандартизированное описание, которое можно использовать при работе с современными средствами автоматизированного проектирования электроники (EDA). CDXML включает в себя следующие данные:

• Информация о тепловых характеристиках;
• Физические и механические требования;
• Особенности поведения (Behavioral);
• Требования к питанию и целостности сигналов;
• Требования к электрическим цепям;
• Информация о тестировании;
• Параметры безопасности.

Это облегчит обмен данными между разработчиками чиплетов и их клиентами, благо уже сейчас идёт процесс интеграции CDXML в правила JEDEC JEP30 (Part Model Guidelines), описывающие процесс такого обмена.

Внутренние процессы OCP и JEDEC сотрудничество не изменит, но OCP планирует регулярные поставки новых данных, относящихся к CDXML в JEDEC (JC-11) — обычно это будет связано с выпуском обновлённых версий CDXML. В соответствии с правилами лицензирования, принятыми OCP, новые данные будут доступны всем участникам консорциума.

Для ускорения интеграции новых спецификаций в стандарт JEP30 будет сформирована специальная рабочая группа, в задачи которой войдёт в том числе и достижение обоюдной договорённости о внесении необходимых изменений. Официальный стандарт будет публиковаться решением комитета JEDEC в соответствии со стандартной процедурой голосования.

Создание единых спецификаций CDXML открывает дорогу целому новому направлению в разработке чипов — так называемой «чиплетной экономике» (Open Chiplet Economy), в которой разработчики чиплетов смогут посредством открытого рынка взаимодействовать с производителями чипов. Такой рынок станет возможным именно благодаря созданию унифицированной экосистемы, за поддержание которой в актуальном состоянии и будет отвечать OCP.

В рамках такой экономики любой проект сможет пройти от стадии описания чиплета к его тестированию с помощью специальной платформы, оценке производительности систем интерконнекта, интеграции разнородных систем, и, наконец, сборке готового решения с оценкой его термальных характеристик. Предполагается также возможность использования фотоники и наличие интегрированных средств диагностики.

В рамках проекта OCP Open Domain Specific Architecture (ODSA) уже достигнуты серьёзные успехи, в число которых входит разработка высокоскоростного конфигурируемого интерконнекта Blue Cheetah класса BoW (Bunch of Wires), создание платформы DreamBig для «умных» сетевых адаптеров, использование BoW-интерконнекта в процессоре с архитектурой RISC-V и даже интеграция BoW-технологии в 5-нм техпроцесс Samsung. А сотрудничество OCP с JEDEC должно ускорить формирование «чиплетной экономики» и избежать ошибок, свойственных закрытым стандартам и платформам.

Перемещение серверных стоек вместе с уже смонтированными серверами было бы слишком непростой задачей для грузчиков-людей, но решение есть — как сообщает The Register, на мероприятии Open Compute Summit представлена специальная тележка компании Jtec Industries, предназначенная для перемещения на значительные дистанции полностью укомплектованных стоек.

Полностью загруженная стойка стандарта ORV2 или ORV3 весит порядка 1500 кг, поэтому для обычного грузчика безопасно переместить её с места на место непросто. Сама Jtec специализируется на моторизированных тележках, способных аккуратно перемещать объекты на складах, в том числе автономно.

Источник изображения: Jtec

Как считают в Jtec, среди гиперскейлеров уже имеется спрос на оборудование для перемещения новых и утилизируемых стоек в больших количествах. И Server Rack Cart вполне способна выполнять подобные миссии — перевозка осуществляется с помощью управляемого оператором или автономного транспортного средства. Поскольку Jtec является одним из партнёров в OCP, гиперскейлерам будет проще доверить своё дорогостоящее во всех отношениях оборудование складским роботам.

В процессе транспортировки тележка с помощью специального механизма приподнимает стойку и может свободно перемещать её туда, куда необходимо. В процессе разработки Jtec сотрудничала с одним из разработчиков автономных транспортёров, а также с неназванным гиперскейлером, судя по всему, с Meta✴. Во всяком случае, именно в павильоне последней на OCP Summit можно увидеть оборудование Jtec.

Как сообщают в Jtec, прототипы успешно внедрили и теперь они работают в нескольких ЦОД гиперскейлера, но пока продукт ожидает финального тестирования безопасности эксплуатации. Первое внедрение готовых продуктов должно состояться в IV квартале 2023 года.

Сообщество Open Compute Project (OCP), включающее крупнейших игроков рынка ЦОД, объявило о появлении особого «тарифа» для стартапов. OCP будет приглашать к сотрудничеству молодые компании, имеющие в портфолио сильные технологические решения, для того чтобы те могли внести вклад в программы совместного использования аппаратных и программных наработок для ЦОД гиепрскейлеров. Это позволит заявить о себе в индустрии.

OCP делает общедоступными инновационные решения, разработанные для дата-центров. В организации уже созрело мнение о необходимости привлечь молодые перспективные компании для сохранения роли OCP Community в качестве доминирующей силы, меняющей рынок ЦОД.

Источник изображения: geralt/pixabay.com

Организация уже давно экспериментирует с различными схемами членства для того, чтобы поощрять реальный вклад в общее дело развития рынка ЦОД. Например, сейчас предлагается система, при которой более «высокоранговые» участники платят меньше, но их вклад должен быть выше, чем обеспечивают обычные члены OCP. Предлагаются варианты членства Gold, Silver и Platinum, стоящие $60 тыс., $50 тыс. или $40 тыс. в год соответственно. Но для получения рангов такого уровня нужно делиться с сообществом спецификациями, дизайном, документацией и другими наработками. Кроме того, есть даже вариант за $5 тыс. для отдельных людей, возглавляющих OCP-проекты.

Источник: OCP

Пока стоимость участия в проекте для стартапов неизвестна. Утверждается, что она будет соответствовать уровню их финансовых возможностей. Приглашения будут направляться на основе «первичной оценки», а вопрос дальнейшего членства стартапов будет заново оцениваться ежегодно. Как заявляют в OCP, организация должна обеспечивать честный подход для всех, и цены для участников будут формироваться в соответствии с целом рядом критериев.

Программа Startup Membership обеспечивает доступ к OCP Community для обеспечения связи с потенциальными партнёрами, клиентами и менторами. Также OCP поможет стартапам стать более заметными на рынке ЦОД и устранить технологические барьеры, сдерживающие их рост. Кроме того, OCP рассчитывает на привлечение к деятельности организации инвесторов, включая «бизнес-ангелов», а также подразделений действительных членов OCP, занимающихся инвестициями.

Российская компания GAGAR>N («Гагар.ИН») анонсировала массивы JBOF (Just a Bunch of Flash) на базе открытого стандарта Open Compute Project (OCP). Дисковая полка формата 2OU вмещает в себя три JBOF-модуля, каждый из которых может нести на борту 16 SFF-накопителей U.2 NVMe.

Источник изображения: GAGAR>N

Таким образом, в общей сложности в составе полки можно задействовать 48 устройств хранения. Вместо SFF-накопителей можно монтировать SSD стандарта M.2 2280 (NVMe): в этом случае каждый из трёх JBOF-модулей способен нести 32 накопителя М.2 (96 шт. полку).

На фронтальную панель JBOF-модуля могут быть выведены восемь портов Mini-SAS HD (PCIe 3.0 x4). Также есть 1GbE-разъём RJ-45 для удалённого управления и мониторинга — задействован BMC ASPEED AST2600. Габариты составляют 723 × 174,5 × 89 мм, вес — 6,7 кг без накопителей. В системе охлаждения применяются два вентилятора диаметром 60 мм. В продаже новинка появится в октябре нынешнего года.

Источник изображения: GAGAR>N

«Особенность архитектуры по стандарту OCP в том, что на переднюю панель сервера нужно выводить и карты расширения, и диски. Поэтому клиенты, которым нужно работать с большими объёмами данных без потери скорости, могут выбрать решения с подключением внешних дисковых массивов JBOF. Сервер в этом случае видит дополнительные диски как свои собственные. Наш продукт при этом ещё и максимально гибкий. Можно выстраивать различные сценарии: например, подключать один JBOF к одному или нескольким серверам», — отметили в GAGAR>N.

«Зелёная» экономика, переход на которую стремится осуществить всё больше стран, требует радикального сокращения вредного воздействия техносферы на окружающую среду. Один из эффективных способов достижения этой задачи связан с включением в полезный оборот побочных продуктов экономической деятельности. В случае дата-центров таким продуктом является тепло.

Великобритания, Дания и другие страны направляют тепло от ЦОД в отопительные системы домов, а Норвегия обогревает им омаровые фермы и планирует обязать дата-центры отдавать «мусорное» тепло на общественные нужды. Французская компания Qarnot решила посмотреть на эту задачу под другим углом, разработав в 2017 г. концепцию электрообогревателя для жилых и офисных помещений на процессорах AMD и Intel.

Изображение: Qarnot (via DataCenterDynamics)

В 2018 г. Qarnot продолжила изыскания и выпустила криптообогреватель QC-1. А недавно она порадовала своих заказчиков следующим поколением отопительных устройств QB, которое создано в сотрудничестве с ITRenew. Новые модули используют OCP-серверы, которые ранее работали в дата-центрах гиперскейлеров. Оснащённые водяным охлаждением, они обогревают помещения пользователей и обеспечивают дополнительные мощности для периферийных облачных вычислений.

Система отводит 96% тепла, производимого кластером серверов, которое попадает в систему циркуляции воды. IT-часть состоит из процессоров AMD EPYC/Ryzen или Intel Xeon E5 в составе OCP-платформ Leopard, Tioga Pass или Capri с показателем PUE, который, по словам разработчиков, стремится к 1,0. При этом вся система практически бесшумная, поскольку вентиляторы отсутствуют.

В компании заявляют, что с февраля уже развёрнуто 12 000 ядер, и планируется довести их число до 100 000 в течении 2022 года. Среди предыдущих заказчиков систем отопления Qarnot числятся жилищные проекты во Франции и Финляндии, а также банк BNP и клиенты, занимающиеся цифровой обработкой изображений.

По словам технического директора Qarnot Клемента Пеллегрини (Clement Pellegrini), QB приносит двойную пользу экологии, используя не только «мусорное» тепло, но и оборудование, которое обычно утилизируется. У ITRenew уже есть очень похожий совместный проект с Blockheating по обогреву теплиц такими же б/у серверами гиперскейлеров.

LiquidStack, дочернее предприятие BitFury, специализирующееся на разработке иммерсионных СЖО, и Microsoft продемонстрировали на OCP Global Summit стандартизированное решение с двухфазным погружным жидкостным охлаждением. Демо-серверы Wiwynn, разработанные в соответствии со спецификациями OCP Open Accelerator Infrastructure (OAI), были погружены в бак LiquidStack DataTank 4U, способный отводить порядка 3 кВт/1U (эквивалент 126 кВт на стойку).

LiquidStack сообщила, что она впервые оптимизировала серверы OCP OAI для охлаждения путем погружения в жидкость. По словам компании, её двухфазные иммерсионные СЖО DataTank предоставляют наиболее эффективное решение, которое требует немного пространства и потребляет меньше энергии, чем другие системы охлаждения, и вместе с тем повышает плотность размещения компонентов и их производительность.

Фото: LiquidStack

В демо-серверах использовались ИИ-ускорители Intel Habana Gaudi, погружённые в жидкий диэлектрик (от 3M) с низкой температурой кипения, который наиболее эффективно отводит тепло благодаря фазовому переходу. Данное решение должно помочь достижению показателя PUE в пределах от 1,02 до 1,03, поскольку оно практически не потребляет энергию. LiquidStack утверждает, что у её СЖО эффективность теплоотвода примерно в 16 раз выше, чем у типичных систем воздушного охлаждения.

Фото: LiquidStack

По мнению компании, системы высокопроизводительных вычислений (HPC) уже сейчас слишком энергоёмки, чтобы их можно было охлаждать воздухом. Поэтому следует использовать платы, специально предназначенные для жидкостного охлаждения, а не пытаться адаптировать те, что были созданы с расчётом на воздушные системы — при использовании СЖО вычислительная инфраструктура может занимать на 60% меньше места.

Изображение: Microsoft

LiquidStack и Wiwynn являются партнёрами. В апреле Wiwynn инвестировала в LiquidStack $10 млн. Также Wiwynn протестировала серверы с погружным жидкостным охлаждением в центре обработки данных Microsoft Azure в Куинси (штат Вашингтон). Microsoft, как и другие гиперскейлеры, уже некоторое время изучает возможности иммерсионных СЖО.

В России неподалёку от Рязани, на территории индустриального парка «Рязанский», началось строительство нового завода по производству серверов. Проект реализуется совместным предприятием, созданным «Яндексом», группой компаний «ЛАНИТ», разработчиком компьютерной техники Gigabyte и банком ВТБ.

На заводе будет выпускаться оборудование под торговой маркой Openyard. В частности, планируется организовать производство серверов, систем хранения данных, шлюзов и компонентов умных устройств.

Участники проекта на начальном этапе вложат в новую производственную площадку более миллиарда рублей. Пуско-наладочные работы намечены на третий квартал следующего года: их выполнят специалисты Gigabyte. Первый сервер со сборочных линий должен сойти до конца 2022-го.

«Первая очередь будет включать производственные линии, лаборатории и тестовые зоны. Здесь будут выполняться все операции, начиная от поверхностного монтажа компонентов и заканчивая испытаниями готовой продукции», — говорится в сообщении.

Фото: Яндекс

Производимые в Рязани серверы будут спроектированы на основе разработок и технологий «Яндекса». Отмечается, что выбор места для строительства завода продиктован хорошей транспортной доступностью, наличием необходимых коммуникаций и близостью учебных заведений, которые готовят профильных специалистов.

Рекомендательные системы, активно используемые социальными сетями, рекламными платформами и т.д. имеют специфические особенности. От них требуется высокая скорость отклика, но вместе с тем их ИИ-модели весьма объёмны, порядка 100 Гбайт или более. А для их эффективной работы нужен ещё и довольно большой кеш. Для инференса чаще всего используется либо CPU (много памяти, но относительно низкая скорость) или GPU (высокая скорость, но мало памяти), но они не слишком эффективны для этой задачи.

При этом существуют ещё и физические ограничения со стороны гиперскейлеров: в сервере не так много полноценных PCIe-слотов и свободного места + есть жёсткие ограничения по энергопотреблению и охлаждению (чаще всего воздушному). Всё это было учтено компанией Esperanto, чьей специализацией является разработка чипов на базе архитектуры RISC-V. На днях она получила первые образцы ИИ-ускорителя ET-SoC-1, который она сама называет суперкомпьютером-на-чипе (Supercomputer-on-Chip).

Новинка предназначена для инференса рекомендательных систем, в том числе на периферии, где на первый план выходит экономичность. Компания поставила для себя непростую задачу — весь комплекс ускорителей с памятью и служебной обвязкой должен потреблять не более 120 Вт. Для решения этой задачи пришлось применить немало ухищрений. Самое первое и очевидное — создание относительно небольшого, но универсального чипа, который можно было бы объединять с другими такими же чипами с линейным ростом производительности.

Для достижения высокой степени параллелизма основой такого чипа должны стать небольшие, но энергоэффективные ядра. Именно поэтому выбор пал на 64-бит ядра RISC-V, поскольку они «просты» не только с точки зрения ISA, но и по транзисторному бюджету. Чип ET-SoC-1 сочетает в себе два типа ядер RISC-V: классических «больших» ядер (ET-Maxion) с внеочередным выполнением у него всего 4, зато «малых» ядер (ET-Minion) с поддержкой тензорных и векторных вычислений — целых 1088.

На комплекс ядер ET-Maxion возлагаются задачи общего назначения и в ИИ-вычислениях он напрямую не участвует, зато позволяет быть ET-SoC-1 полностью автономным, так как прямо на нём можно запустить Linux. Помогает ему в этом ещё один служебный RISC-V процессор для периферии. А вот ядра ET-Minion довольно простые: внеочередного исполнения инструкций в них нет, зато есть поддержка SMT2 и целый набор новых инструкций для INT- и FP-операций с векторами и тензорами.

За каждый такт ядро ET-Minion способно выполнять 128 INT8-операций с сохранением INT32-результата, 16 FP32-операций или 32 — FP16. «Длинные» тензорные операции могут непрерывно исполняться в течение 512 циклов (до 64 тыс. операций), при этом целочисленные блоки в это время отключаются для экономии питания. Система кешей устроена несколько непривычным образом. На ядро приходится 4 банка памяти, которые можно использовать как L1-кеш для данных и как быструю универсальную память (scratchpad).

Восемь ядер ET-Minion формируют «квартал» вокруг общего для них кеша инструкций, так как на таких задачах велика вероятность того, что инструкции для всех ядер действительно будут одни и те же. Кроме того, это энергоэффективнее, чем восемь индивидуальных кешей, и позволяет получать и отправлять данные большими блоками, снижая нагрузку на L2-кеш. Восемь «кварталов» формируют «микрорайон» с коммутатором и четырьмя банками SRAM объёмом по 1 Мбайт, которые можно использовать как приватный L2-кеш, как часть общего L3-кеша или как scratchpad.

Посредством mesh-сети «микрорайоны» общаются между собой и с другими блоками: ET-Maxion, восемь двухканальных контроллеров памяти, два root-комплекса PCIe 4.0 x8, аппаратный RoT. Суммарно на чип приходится порядка 160 Мбайт SRAM. Контроллеры оперативной памяти поддерживают модули LPDDR4x-4267 ECC (256 бит, до 137 Гбайт/с). Тактовая частота ET-Minion варьируется в пределах от 500 МГц до 1,5 ГГц, а ET-Maxion — от 500 МГц до 2 ГГц.

В рамках OCP-блока Glacier Point V2 компания объединила на одной плате шесть ET-SoC-1 (всего 6558 ядер RISC-V), снабдив их 192 Гбайт памяти (822 Гбайт/с) — это больше, нежели у NVIDIA A100 (80 Гбайт). Такая связка развивает более 800 Топс, требуя всего 120 Вт. В среднем же она составляет 100 ‒ 200 Топс на один чип с потреблением менее 20 Вт. Это позволяет создать компактный M.2-модуль или же наоборот масштабировать систему далее. Шасси Yosemite v2 может вместить 64 чипа, а стойка — уже 384 чипа.

В тесте MLPerf для рекомендательных систем производительность указанной выше связки из шести чипов в пересчёте на Ватт оказалась в 123 раза выше, чем у Intel Xeon Platinum 8380H (250 Вт), и в два-три раза выше, чем у NVIDIA A10 (150 Вт) и T4 (70 Вт). В «неудобном» для чипа тесте ResNet-50 разница с CPU и ускорителем Habana Goya уже не так велика, а вот с решениями NVIDIA, напротив, более заметна.

При этом о поддержке со стороны ПО разработчики также подумали: чипы Esperanto могут работать с широко распространёнными фреймворками PyTorch, TensorFlow, MXNet и Caffe2, а также принимать готовые ONNX-модели. Есть и SDK для C++, а также драйверы для x86-хостов.

Опытные образцы изготовлены на TSMC по 7-нм техпроцессу. Кристалл площадью 570 мм² содержит 24 млрд транзисторов. Чип имеет упаковку BGA2494 размерами 45 × 45 мм². Энергопотребление (а вместе с ним и производительность) настраивается в диапазоне от 10 до 60+ Ватт. Потенциальным заказчикам тестовые чипы станут доступны до конца года. Компания также готова адаптировать ET-SoC-1 под другие техпроцессы и фабрики, но демо на базе OCP-платформы и сравнение с Cooper Lake — это недвусмысленный намёк для Facebook✴, что Esperanto будет рада видеть её в числе первых клиентов.