Meta✴ (ранее Facebook✴) анонсировала новый крупномасштабный исследовательский кластер — ИИ-суперкомпьютер Meta✴ AI Research SuperCluster (RSC), предназначенный для ускорения решения задач в таких областях, как обработка естественного языка (NLP) с обучением всё более крупных моделей и разработка систем компьютерного зрения.

На текущий момент Meta✴ RSC состоит из 760 систем NVIDIA DGX A100 — всего 6080 ускорителей. К июлю этого года, как ожидается, система будет включать уже 16 тыс. ускорителей. Meta✴ ожидает, что RSC станет самым мощным ИИ-суперкомпьютером в мире с производительностью порядка 5 Эфлопс в вычислениях смешанной точности. Близкой по производительность системой станет суперкомпьютер Leonardo, который получит 14 тыс. NVIDIA A100.

Изображения: Meta✴

Meta✴ RSC будет в 20 раз быстрее в задачах компьютерного зрения и в 3 раза быстрее в обучении больших NLP-моделей (счёт идёт уже на десятки миллиардов параметров), чем кластер Meta✴ предыдущего поколения, который включает 22 тыс. NVIDIA V100. Любопытно, что даже при грубой оценке производительности этого кластера он наверняка бы попал в тройку самых быстрых машин нынешнего списка TOP500.

Новый же кластер создаётся с прицелом на возможность обучения моделей с триллионом параметров на наборах данных объёмом порядка 1 Эбайт. Именно такого объёма хранилище планируется создать для Meta✴ RSC. Сейчас же система включает массив Pure Storage FlashArray объемом 175 Пбайт, 46 Пбайт кеш-памяти на базе систем Penguin Computing Altus и массив Pure Storage FlashBlade ёмкостью 10 Пбайт. Вероятно, именно этой СХД и хвасталась Pure Storage несколько месяцев назад, не уточнив, правда, что речь шла об HPC-сегменте.

Итоговая пропускная способность хранилища должна составить 16 Тбайт/с. Meta✴ RSC сможет обучать модели машинного обучения на реальных данных, полученных из социальных сетей компании. В качестве основного интерконнекта используются коммутаторы NVIDIA Quantum и адаптеры HDR InfiniBand (200 Гбит/с), причём, судя по видео, с жидкостным охлаждением. Каждому ускорителю полагается выделенное подключение. Фабрика представлена двухуровневой сетью Клоза.

Meta✴ также разработала службу хранения AI Research Store (AIRStore) для удовлетворения растущих требований RSC к пропускной способности и ёмкости. AIRStore выполняет предварительную обработку данных для обучения ИИ-моделей и предназначена для оптимизации скорости передачи. Компания отдельно подчёркивает, что все данные проходят проверку на корректность анонимизации. Более того, имеется сквозное шифрование — данные расшифровываются только в памяти узлов, а ключи регулярно меняются.

Однако ни о стоимости проекта, ни о потребляемой мощности, ни о физическом местоположении Meta✴ RSC, ни даже о том, почему были выбраны узлы DGX, а не HGX (или вообще другие ускорители), Meta✴ не рассказала. Для NVIDIA же эта машина определённо стала очень крупным и важным заказом.

В современном мире процессоров уже никого не удивляет нахождение очередной уязвимости, а иногда тропинкой для злоумышленника становятся технологии, изначально призванные повысить уровень безопасности. Ряд исследователей небезосновательно считает, что «заплатками» отделаться не получится и надо менять глубинные принципы, лежащие в основе процессорных архитектур.

Один из таких проектов, развиваемый с 2010 года усилиями SRI International и Кембриджского университета — это CHERI. В 2019 к нему присоединилась Arm, недавно представившая первый прототип платы с процессором Morello, который базируется на двух ключевых принципах, заложенных в CHERI — масштабируемая компартментализация и тонко настраиваемая защита содержимого памяти. Оба принципа реализованы аппаратно и сами по себе не новы.

Изображения: Arm

По сути речь идёт о расширении стандартного набора инструкций, с помощью которого даже написанное с использованием языков, позволяющих относительно легко сделать ошибки при работе с памятью (а это обычно C/C++), ПО можно заставить работать без образования серьёзных дыр в защите. Тщательная компартментализация (т.е. разделение) кода ОС и приложений хотя и не исключает наличие уязвимостей, но серьёзно ограничивает область возможного нанесения вреда.

В частности, любая инструкция типа load/store и любая операция выборки должны быть авторизованы на аппаратном уровне со стороны процессора. Разумеется, это не высокоуровневая защита, а скорее набор базовых блоков для построения таковой. Принцип компартментализации ещё проще: если в классической архитектуре взломщик может получить контроль над всей системой, то в изолированных друг от друга ОС и приложениях, он лишь проникнет в одну из множества небольших «ячекк», а его действия послужат сигналом для защитных механизмов.

Блок-схема Arm Morello

Arm Morello — первый чип на базе CHERI. Текущая аппаратная реализация использует модифицированные ядра Neoverse N1 (ARMv8.2) с частотой 2,5 ГГц. Первые платы с новым процессором предназначены таким IT-гигантам как Google и Microsoft, а также заинтересованным партнёрам образовательным учреждениям. На текущий момент разработчики предлагают модифицированное ядро FreeBSD, часть стандартных UNIX-программ, а также некоторые другие приложения. С появлением готовых плат и процессоров процесс адаптации ПО должен значительно ускориться.

Компания BrainChip сообщила о начале продаж специализированной карты расширения Akida AKD1000, предназначенной для организации периферийных ИИ-вычислений. Цена изделия составляет $499: оно доступно для заказа в количестве до десяти штук.

Сама плата имеет размеры 76 × 40 × 5,3 мм и использует интерфейс PCI Express 2.0 x1. В основу положен одноимённый нейроморфный процессор, дополненный ядром Arm Cortex-M4 (300 МГц). Akida AKD1000 предлагает 1,2 млн нейронов и 10 млрд синапсов. Решение содержит 512 Мбайт памяти LPDDR4-2400 и 128 Мбит флеш-памяти Quad SPI NOR.

Источник изображений: BrainChip

Отмечается, что BrainChip предоставит заказчикам всю необходимую документацию, что позволит системным интеграторам и разработчикам создавать собственные решения на базе ИИ-акселератора. Создание, обучение и тестирование нейросетей осуществляется в среде MetaTF с поддержкой Tensorflow и Keras, а также набором готовых моделей и конвертером CNN-SNN.

На поставку новых карт Akida AKD1000 будет уходить около восьми недель после оформления заказа. Эти сроки будут варьироваться в зависимости от работы логистических цепочек. Впрочем, это временные ограничения, так как, по словам компании, налажено массовое производство. Ранее BrainChip выпустила комплекты разработчика на базе ПК Shuttle и Raspberry Pi

Государственный ирландский оператор электрической инфраструктуры EirGrid заявил, что больше не будет принимать заявки на энергоснабжение новых ЦОД на территории Дублина и его пригородов. Компания сообщила, что не будет подключать дата-центры «в обозримом будущем», возможно — до 2028 года. Оператор не только ограничит приём заявок в столичном регионе, но и будет рассматривать возможности подключения в других частях страны на индивидуальной основе.

При этом указано, что уже поданные в столице заявки будут выполняться по мере возможности. Новые заявки будут рассматриваться в соответствии с критериями, выработанными Комиссией по регулированию коммунальных услуг (CRU) и с учётом доступных энергетических мощностей. Кроме того, CRU может ввести ограничения на размещение ЦОД в отдельных районах, а также принять ряд мер по предотвращению отключений во время пиковых нагрузок.

Источник: rolandmey/pixabay.com

В последние месяцы ЦОД привлекли пристальное внимание политиков и защитников окружающей среды в Ирландии — предстоит оценить, насколько их энергопотребление соответствует заявленным страной целям защиты экологии. В минувшие несколько месяцев EirGrid уже выпустила несколько предупреждений в связи с проблемами с энергообеспечением.

Источник: tstokes/pixabay.com

Активисты и политики призывают ввести мораторий на строительство новых ЦОД, поскольку по данным EirGrid уже существующие потребляют более 10 % всей электроэнергии, используемой в стране, а к 2030 году этот показатель может вырасти до 30 % и потенциально станет причиной систематических блэкаутов. Кроме того, страна не сможет выполнить цели по декарбонизации — ранее предполагалось, что к 2030 году 80 % электроэнергии страны должно поступать из возобновляемых источников.

Формально мораторий объявлен не был, но де-факто для Дублина и окрестностей он уже введён, согласно комментарию CRU для DataCenter Dynamics. При этом ряд государственных ведомств в обращении к EirGrid акцентировал внимание на том, что дата-центры приносят в страну инвестиции, новые возможности для экспорта и другие преимущества, а Агентство по промышленному развитию и вовсе заявило, что ЦОД просто делают «козлами отпущения» за уже существующий в Ирландии энергетический кризис.

Компания NVIDIA сообщила о заключении соглашения по приобретению фирмы Bright Computing, разработчика специализированных программных продуктов для управления кластерами. О сумме сделки ничего не сообщается.

Bright Computing была выделена из состава нидерландской ClusterVision в 2009 году; последняя после банкротства в 2019 году была поглощена Taurus Group. Штаб-квартира Bright Computing базируется в Амстердаме. Основным направлением деятельности компании является разработка инструментов, позволяющих автоматизировать процесс построения и управления Linux-кластерами.

Источник изображения: Bright Computing

В число клиентов Bright Computing входят более 700 корпораций и организаций по всему миру. Среди них упоминаются Boeing, Siemens, NASA, Университет Джонса Хопкинса и др. Отмечается, что NVIDIA и Bright сотрудничают уже более десяти лет. Речь идёт об интеграции ПО с аппаратными платформами и другими продуктами NVIDIA.

Поглощение Bright Computing, как ожидается, позволит NVIDIA предложить новые решения в области НРС, которые будут отличаться относительной простотой развёртывания и управления. Эти решения могут применяться в дата-центрах, в составе различных облачных платформ и edge-систем. В рамках сделки вся команда Bright Computing присоединится к NVIDIA.

Американский банк Morgan Stanley заключил мировое соглашение и согласился выплатить компенсацию в размере $60 млн для урегулирования коллективного иска, поданного от имени 15 млн клиентов. Согласно иску, из-за ошибочных действий банка, произошли две утечки персональных данных его клиентов. Банк потенциальные утечки признал, разослав клиентам уведомления в июле 2020 года, но виноватым себя не считает.

В первом случае во время вывода из эксплуатации двух центров обработки данных (ЦОД) в 2016 году с жёстких дисков, возможно, не была стёрта вся информация, в том числе данные клиентов, которые попали в руки сторонних организаций. Во втором случае в ходе модернизации оборудования в одном из филиалов был утерян сервер с клиентскими данными, которые могли быть незашифрованными из-за программного бага. Эти данные тоже могли попасть в чужие руки.

Фото: Pixabay/pastedo

Из-за неспособности вывести должным образом из эксплуатации два ЦОД банк уже был оштрафован Управлением контролёра денежного обращения США (OCC) на $60 млн. Регулятор обвинил банк в том, что тот «не осуществлял надлежащего надзора». Из-за нарушения банк столкнулся с восемью судебными исками, которые были объединены в один коллективный иск. Банк обвинили в «игнорировании отраслевых стандартов» в отношении надлежащей утилизации ИТ-активов (ITAD).

Согласно документам, банк отказался от услуг IBM в пользу «неизвестного и неквалифицированного поставщика» для вывода из эксплуатации своего IT-оборудования в рамках «решений, ориентированных на получение прибыли», чтобы сэкономить $100 тыс. Затем Morgan Stanley заключил контракт с фирмой Triple Crown на демонтаж оборудования и утилизацию. Вместо утилизации Triple Crown продала это оборудование фирме AnythingIT, а банку сообщила, что оборудование утилизировано. В свою очередь, AnythingIT, не удалив данные с жёстких дисков, продала оборудование компании KruseCom.

Как поступила с ним KruseCom неизвестно — оборудование либо было продано ещё кому-то, либо уничтожено. Несмотря на признание того, что часть утерянного оборудования так и не была возвращена, банк продолжает настаивать на том, что клиентам не было причинено никакого вреда. Предварительное соглашение об урегулировании коллективного иска было подано в пятницу вечером в федеральный суд Манхэттена. Соглашение вступит в силу после одобрения окружным судьёй.

Российские процессоры Эльбрус, разрабатываемые компанией МЦСТ, вызывают немало споров вокруг самой архитектуры и доступности изделий на её основе. Но платформа продолжает жить и развиваться, несмотря на все трудности. Для всех процессоров разработан типовой ряд модулей и системных плат, от простых вариантов с одним CPU до высокоплотных четырёхсокетных. Есть решения и для обычных настольных ПК, а также модули для встраиваемых и терминальных систем.

В конце прошлого года на очередной партнёрской конференции МЦСТ были опубликованы новые доклады, в том числе, освещающие изменения в ситуации с доступностью процессоров и решений на их основе. А изменений этих немало. Во-первых, окончательно устаревшими можно признать чипы Эльбрус-8. Им на смену пришла усовершенствованная версия Эльбрус-8СВ. Крупная партия этих чипов в настоящее время уже получена и находится в процессе таможенного оформления. Этот чип, напомним, лишён целого ряда недостатков, присущих Эльбрус-8С.

Однако 28-нм техпроцесс себя исчерпал, и в 2022 году на смену придут 16-нм процессоры Эльбрус-16С, Эльбрус-12С и Эльбрус-2С3. В их основу легла новая, шестая версия VLIW-архитектуры МЦСТ. Она сопровождается отказом от уже устаревшей и медленной схемотехники подсистем ввода-вывода, реализованной в предыдущем поколении Эльбрус на базе моста КПИ-2 и переходом на интегрированный контроллер PCI Express.

Старший 16-ядерный вариант получил 8-канальный контроллер DDR4-3200, что вполне отвечает требованиям современности. Планка максимального объёма оперативной памяти поднята до 16 Тбайт в четырёхпроцессорной системе (4х4 Тбайт). Благодаря новому техпроцессу удалось удержать в приличных рамках теплопакет, выросший с 80 до 110 ватт при вдвое большем количестве ядер.

Современный серверный процессор немыслим без виртуализации, и в новых решениях МЦСТ её аппаратная поддержка реализована в полном объёме, в том числе, для кода x86. Появилась поддержка динамической компиляции, дополнительно оптимизирована работа с невыровненными данными. Но главное, что образцы Эльбрус-16С и 2С3 получены и успешно прошли тесты. Подготовлена вторая ревизия, данные по ней уже переданы контрактному производителю.

Младший Эльбрус-2С3 в дополнение к интегрированному GPU получил продвинутый набор аппаратных кодеков, который включает VP9 и H.264/H.265. Процессор пойти в серию в течение этого года, а рабочие прототипы систем на его базе уже есть. 12-ядерный Эльбрус-12С наиболее интересный, как платформа для рабочих станций разработки ПО для данной архитектуры, пока ждёт второй ревизии, которая должна быть готова в течение первой половины 2022 года.

Не забывает МЦСТ и о корнях — разработке архитектур на базе SPARC. Образцы процессора R2000+ также получены и прошли инженерные тесты. Это чип, ориентированный на сверхэкономичные системы — его теплопакет составляет всего 5 Ватт, но при этом он имеет встроенное графическое ядро с функциями 3D-ускорения.

Что касается приверженности самой архитектуре VLIW, то МЦСТ продолжает настаивать на преимуществах явного параллелизма команд, осознавая, разумеется, необходимость качественного компилятора. Интерес представляет диаграмма применимости архитектуры Эльбрус: она не очень подходит для веб-задач и скриптовых языков, а лучше всего, по мнению разработчиков, раскрывает себя в задачах HPC/Big Data, СУБД и ИИ-системах.

Что касается внедрения, то серверы на базе процессоров Эльбрус активно внедряются в государственных учреждениях: ЦОД для ГИС «Мир» содержит порядка 200 серверов, а МВД России недавно закупило более 400 серверов для автоматизированной системы фиксации нарушений. РЖД внедряет тонкие клиенты на базе Эльбрус, а также использует его в системах автоматики управления стрелочным хозяйством. Силами Ростелеком создано первое облако на базе Эльбрус-8С/СВ.

Но, пожалуй, наибольшего успеха в импортозамещении добились энергетики: удалось разработать и внедрить самый широкий спектр решений на базе Эльбрус, от систем автоматики для подстанций до полноценной АСУ ТП «ПАК МАРС» для компании Россети. В последнем случае Эльбрус используется во всех компонентах, от клиентских рабочих мест до серверов и СХД.

С точки зрения программной экосреды наиболее интересна система двоичной трансляции, позволяющая запускать ПО, разработанное для х86-64, которое затем постепенно можно оптимизировать и переводить в «родной режим». Начаты работы по внедрению механизмов динамической оптимизации на базе LCC и LLVM. Также стоит отметить появление поддержки LLVM 13-ой ветки и бета-версию систем виртуализации на базе KVM + QEMU + libvirt.

МЦСТ заботится о разработчиках: первые 100 экземпляров плат на базе Эльбрус-16С и 2С3 уже разосланы партнёрам для реализации пилотных проектов. Компания готовится сертифицировать дизайн-центры и контрактные производства, а также сообщает о том, что появились первые дистрибьюторы, работающие с продукцией на базе Эльбрус.

Весьма интересны как планы МЦСТ по выпуску новых процессоров на базе VLIW-архитектуры седьмого поколения, так и данные относительно нововведений в этой архитектуре. В планах создание процессора с числом ядер до 64 и с системой команд, включающей крипто- и нейропримитивы, продвинутыми средствами виртуализации и безопасных вычислений, и, что немаловажно, поддержкой прогрессивного универсального стандарта CXL 2.0.

Запланировано использование 6-нм техпроцесса, а также выпуск чипов с меньшим количеством ядер для рабочих станций и ноутбуков. Также рассматривается возможность создания гибридного процессора, сочетающего ядра Эльбрус и RISC-V. Такой чип с учётом поддержки бинарной трансляции сможет претендовать на звание самого универсального ЦП в мире.

Ознакомиться полнее с материалами конференции можно на сайте МЦСТ. В целом, архитектура Эльбрус выглядит живой и развивающейся, решения на базе уже освоенных 8-ядерных процессоров активно внедряются в России, а более новые 12 и 16-ядерные CPU гораздо лучше соответствуют современным требованиям. Что касается Эльбрус-32С, то это амбициозный проект, в котором сочетаются как новейшие технологии (DDR5 и CXL 2.0), так и уникальные архитектурные особенности.

Комитет Team Telecom, объединяющий представитилей нескольких министерств США и изучающий вопросы безопасности телекоммуникационных проектов с зарубежным участием, рекомендовал FCC одобрить использование кабеля Pacific Light Cable Network (PLCN), соединяющего США и Азию, после того, как Google и Meta✴ (Facebook✴) договорились «ограничить доступ к информации и инфраструктуре третьему члену консорциума, китайской компании Pacific Light Data Communications Co Ltd».

Прокладка 120-Тбит/с кабеля Pacific Light Cable Network протяжённостью почти 12 тыс. км практически завершена, но его ввод в эксплуатацию неоднократно откладывали из-за отсутствия утверждения Федеральной комиссии по связи (FCC). Кабель, содержащий шесть оптоволоконных пар, изначально был предназначен для соединения США, Тайваня, Филиппин и Гонконга. Но в связи с ростом напряжённости между США и Китаем и усилением контроля Пекина над Гонконгом регулирующие органы США отказались одобрять проект.

Изначальный маршрут PLCN (Изображение: Pacific Light Data Communication Co., Ltd)

В июне 2020 года FCC призвали отклонить проект, который стал бы первой возможностью обеспечения связи напрямую между США и Гонконгом. В 2016 году, когда было объявлено о прокладке кабеля, крупнейшим инвестором проекта была китайская компания Pacific Light Data Communications Co. (PLDC). Затем магнат Вэй Цзюнькан (Wei Junkang) продал большую часть своей доли в PLDC, владеющей четырьмя парами волокон, «дочке» китайской телеком-компании Dr. Peng Telecom & Media Group, которую подозревают в связи с Huawei и властями Китая соответственно.

Теперь Google и Meta✴ договорились, что PLDC будет иметь ограниченный доступ к инфраструктуре и информации, а также отказались от использования гонконгского участка кабеля. Компании также планируют ежегодно проводить оценку рисков в отношении сохранности конфиденциальных данных и рассмотрят возможность добавления маршрутов до Индонезии, Сингапура и Вьетнама.

По мере внедрения 5G-сетей объёмы данных, добываемых и обрабатываемых на периферии, будут только расти, и здесь новое решение Nebulon для микро-ЦОД окажется весьма к месту.

Компания Nebulon была основана лишь 2018 году, а в 2020 году она представила свои первые решения, концептуально очень схожие с тем, что сейчас принято называть DPU. Изначально это были ускорители под названием SPU (Storage Processing Unit), однако впоследствии первое слово заменили на Service, поскольку речь шла уже об облачных системах, и данные платы стали частью того, что сама Nebulon называет «умной инфраструктурой» (Smart Infrastructure).

Nebulon SPU. Изображения: Nebulon

Но у SPU нашлось и ещё одно применение, связанное с периферийной серверной инфраструктурой. Её особенности таковы, что требуют максимальной компактности оборудования, и это, по мнению Nebulon, затрудняет использование классических решений для гиперконвергентной инфраструктуры (HCI), поскольку, по словам Nebulon, она обычно для арбитража, который необходим для стабильности работы, требует наличия в системе минимум трёх узлов.

Такой «узел-арбитр» (quorum witness, QW) гарантирует бесперебойную работу системы в том случае, если какой-либо из её основных узлов испытывает проблемы с сетевым подключением. Но в условиях периферии третьему узлу бывает просто негде разместиться, а ведь нужен ещё и сетевой коммутатор. Тут-то на помощь и может прийти ускоритель Nebulon SPU, который можно назвать полноценным «сервером на плате»: он несёт на борту восьмиядерный CPU и 32 Гбайт DRAM.

Основным интерфейсом SPU является PCIe 3.0 x16 (8 линий) + ещё два набора по 8 линий могут обслуживать NVMe SSD (но есть и поддержка SAS/SATA). С такой платой HCI-кластер может иметь в составе всего два узла. Коммутатор не требуется, поскольку плата располагает двумя портами 10/25GbE. Интеграцию такого HCI-кластера с облаком, автоматизацию и арбитраж посредством Nebulon ON также берёт на себя SPU. Компания-разработчик назвала данную технологию smartEdge.

Как сообщает Reuters, город Зееволде, расположенный в 50 км от Амстердама, одобрил планы Meta✴, готовой построить крупнейший в Нидерландах дата-центр. Основным назначением нового ЦОД станет обслуживание пользователей Facebook✴, Instagram✴ и WhatsApp на территории Западной Европы. Представитель Meta✴ сообщил, что первоначальные затраты на строительство составят порядка €700 млн, а дата завершения постройки пока не определена.

Объект площадью 166 га будет потреблять 1,38 ГВт и, как ожидается, будет использовать только «зелёную» энергию, в то же время являясь значимым фактором роста для локальной экономики — центр позволит создать 400 рабочих мест в населённом пункте с населением 20 000 человек. Тем не менее, идея его создания неоднократно критиковалась некоторыми политиками и экоактивистами. По оценкам НКО Dutch Data Centre Association, расположенные в Нидерландах ЦОД используют порядка 3 % всей электроэнергии в стране, но к 2030 году этот показатель может вырасти до 10 %.

Изображение: www.zeewolde.nl

Хотя предыдущий состав голландского министерства экономики лоббировал строительство новых ЦОД в стране, включая реализацию крупных проектов компаниями вроде Google и Microsoft, недавно политики начали задаваться вопросами — не должны ли число и местоположение дата-центров определяться национальным правительством? По мнению представителей партий, формирующих новое правительство, дата-центры требуют «необоснованно много» доступной возобновляемой энергии в сравнении с их общественной и экономической значимостью. Об этом они заявили ещё до голосования, проведённого городским советом Зееволде.

Члены правящих партий пообещали в будущем уделять больше внимания национальной координации подобной деятельности и уточнить критерии получения лицензий для такой активности. Тем не менее многие политики признают, что, несмотря на недостатки, связанные с постройкой большого ЦОД в маленьком городе, имеются более важные преимущества, способствующие развитию населённого пункта, причём дата-центры просто необходимы для современной инфраструктуры. Вопрос в том, где именно они будут построены — выгоднее создавать их в Западной Европе, под европейской юрисдикцией.

UPD 22.12.2021: как сообщает Data Center Dynamics, постройка нового дата-центра снова оказалась под угрозой, поскольку парламент страны временно приостановил сделку по продаже земли компании Meta✴.