Компания Meta✴, по сообщению Reuters, была вынуждена пересмотреть конфигурацию своих дата-центров из-за отставания от конкурентов в плане развития ИИ-платформ. Компания, в частности, решила отказаться от дальнейшего внедрения инференс-чипов собственной разработки.

Отмечается, что до прошлого года Meta✴ применяла архитектуру, в которой традиционные CPU соседствуют с кастомизированными решениями. Однако выяснилось, что такой подход менее эффективен по сравнению с применением ускорителей (GPU). При этом ранее компания отказалась от ИИ-ускорителей Qualcomm, указав на недоработки ПО, которые, судя по всему, были устранены только недавно. А с Esperanto, вероятно, отношения у Meta✴ пока не сложились. Впрочем, теперь компании интересен генеративный ИИ, а не только рекомендательные системы, что накладывает иные требования к оборудованию.

Источник изображения: Meta✴

В течение почти всего 2022 года Meta✴ активно инвестировала в развите инфраструктуры, однако в конце года стало известно, что она приостановила строительство целого ряда ЦОД, а затем пересмотрела расходы на дата-центры. Компания решила кардинально переосмыслить архитектуру своих ЦОД, сделав ставку на СЖО. Как теперь выясняется, связано это с тем, что Meta✴ отказалась от собственных ИИ-чипов в пользу ускорителей NVIDIA: объём заказов последних исчисляется «миллиардами долларов». Соответствующую платформу Grand Teton компания показала в конце прошлого года.

Источник изображения: Meta✴

Но ускорители потребляют больше энергии и выделяют больше тепла, нежели CPU или узкоспециализированные ASIC. Кроме того, ускорители должны физически находиться довольно близко друг к другу, хотя с интерконнектом компания тоже уже экспериментирует. Всё это влияет на архитектуру ЦОД. Тем не менее, Meta✴ всё же разрабатывает некий секретный чип, который сгодится и для обучения ИИ-моделей, и для инференса. Ожидается, что это решение увидит свет в 2025 году. Пока что для обучения ИИ компания намерена использовать собственный ИИ-суперкомпьютер RSC и облачные кластеры Microsoft Azure.

Похожий путь избрала Microsoft, решившая создать свой ИИ-чип, не отказываясь пока от ускорителей NVIDIA. The Information добавляет, что вице-президент Microsoft по разработке «кремния» Жан Буфархат (Jean Boufarhat) присоединится к Meta✴. Он возглавит команду Facebook✴ Agile Silicon Team (FAST), чтобы помочь компании в реализации проектов по созданию чипов. Ранее Meta✴ переманила из Intel руководителя разработки сетевых решений для дата-центров. У Google и Amazon уже есть свои ИИ-чипы для обучения и инференса.

Технологии искусственного интеллекта (ИИ) сегодня бурно развиваются и требуют всё более серьёзных вычислительных мощностей. Но наряду с наращиванием этих мощностей растут требования и к сетевой подсистеме, поэтому крупные компании и исследовательские организации ищут всё новые способы оптимизации инфраструктуры.

Компания Meta✴ в сотрудничестве с Массачусетским технологическим институтом (MIT) и рядом прочих исследовательских организаций опубликовала данные любопытного эксперимента, в котором ИИ-кластер мог менять топологию своего интерконнекта с помощью механической «роборуки».

Система получила название TopoOpt, поскольку вычислительные узлы в ней использовали полностью оптическую сеть с оптической же патч-панелью. Эта сеть объединяла 12 вычислительных узлов ASUS ESC4000A-E10, каждый из которых был оснащён ускорителем NVIDIA A100, сетевыми адаптерами HPE и Mellanox ConnectX-5 (100 Гбит/с) с оптическими трансиверами.

Источник здесь и далее: USENIX

Наиболее интересное устройство в эксперименте — оптическая патч-панель Telescent, оснащённая механическим манипулятором, способным производить перекоммутацию на лету. Эта «роборука» работала под управлением специализированного ПО, целью которого ставилось нахождение оптимальной сетевой топологии и сегментации сети применительно к различным задачам машинного обучения.

Система с перекоммутируемой оптической сетью не требует энергоёмких высокоскоростных коммутаторов и обеспечивает ряд других преимуществ

Такая роботизированная патч-панель не столь расторопна, как оптические коммутаторы Google с микрозеркальной механикой, но стоит впятеро дешевле и имеет больше портов. Опубликованные экспериментальные данные уверенно свидетельствуют о том, что топология «толстого дерева» (fat tree), использующая несколько слоёв коммутаторов, не оптимальна и даже избыточна для ряда нейросетевых задач.

К тому же перекоммутируемая оптическая сеть без традиционных высокоскоростных коммутаторов требует меньше оборудования, а значит, может быть не только быстрее сети fat tree в ряде ИИ-задач, но и существенно дешевле в развёртывании и поддержании в рабочем состоянии — как минимум за счёт отсутствия затрат на питание множества коммутаторов.

Компания SMART Modular анонсировала SSD повышенной надёжности семейства T6CN. Решения ориентированы на телекоммуникационный, оборонный, промышленный и аэрокосмический секторы. Кроме того, устройства могут применяться в составе коммерческих платформ видеонаблюдения.

В серию вошли модификации в форматах M.2 2280, E1.S и U.2. Все они выполнены с применением чипов флеш-памяти 3D TLC NAND, а для обмена данными служит интерфейс PCIe 4.0 x4 (спецификация NVMe 1.4). Поддерживается шифрование данных по алгоритму AES-256. Диапазон рабочих температур простирается от -40 до +85 °C.

Изделия T6CN M.2 2280 имеют вместимость 960 Гбайт, а также 1,92 и 3,84 Тбайт. Скорость последовательного чтения информации достигает 7680 Мбайт/с, скорость последовательной записи — 2600 Мбайт/с. Значение IOPS при произвольном чтении и записи данных по 4 Кбайт — до 600 000 и 450 000 соответственно. Габариты — 80 × 24 мм.

Накопители T6CN EDSFF E1.S, в свою очередь, представлены в вариантах ёмкостью 960 Гбайт, 1,92, 3,84 и 7,68 Тбайт. У них максимальная заявленная скорость последовательного чтения и записи данных одинакова — 3200 Мбайт/с. Величина IOPS при произвольном чтении составляет до 320 000, при произвольной записи — до 300 000. Размеры равны 111,49 × 3,15 × 5,9 мм.

Устройства T6CN U.2 обладают вместимостью 960 Гбайт, а также 1,92, 3,84, 7,68 и 15,36 Тбайт. Скорость последовательного чтения — до 3840 Мбайт/с, последовательной записи — до 2600 Мбайт/с. Показатель IOPS при произвольном чтении и записи — до 600 000 и 450 000 соответственно. Габариты составляют 100 × 69,85 × 7 мм. Величина MTBF у всех новинок превышает 2 млн часов.

Supermicro сообщила о пополнении семейства высокопроизводительных и высокоплотных All-Flash СХД петабайтного класса. Новые системы Supermicro поддерживают NVMe SSD в форм-факторе EDSFF E3.S/E1.S и предлагают 16 или 32 отсека для накопителей PCIe 5.0.

Первые системы получат поддержку до 0,5 Пбайт дискового пространства в 1U-шасси с 16 отсеками. Чуть позже появятся 1-Пбайт 2U-системы с 32 отсеками на базе современных платформ Intel и AMD с поддержкой PCIe 5.0. Отмечается, что новинки позволят заказчикам сократить количество стоечных систем, необходимых для удовлетворения требований к хранению данных на «горячем» и «тёплом» уровнях, и снизить совокупную стоимость владения.

«Новые хранилища компактны и энергоэффективны и обеспечат нашим пользователям самую низкую задержку и самую высокую пропускную способность в отрасли. Производительность и ёмкость этих новых систем позволяют клиентам задействовать передовые ИИ-технолгии. Используя нашу модульную архитектуру, мы можем быстрее выводить новейшие технологии на рынок, предоставляя пользователям передовые системы», — отметил президент и гендиректор Supermicro Чарльз Лян (Charles Liang).

Источник изображения: Supermicro

Новые системы на базе Intel оснащены двумя процессорами Intel Xeon Sapphire Rapids с TDP до 270 Вт и содержат до 32 модулей DDR5-4800 (суммарно до 8 Тбайт). В свою очередь, платформы на базе AMD EPYC включают CPU с TDP до 350 Вт и 24 модуля DDR5-4800. Данные системы предназначены для приложений с интенсивными вычислениями, высокими требованиями к IO-подсистеме и объёму оперативной памяти. Кроме того, новые платформы предложат два слота PCIe 5.0 x16 для FHHL-карт расширения и два AIOM-слота (OCP 3.0), тоже PCIe 5.0 x16. Это позволит оснастить СХД ИИ-ускорителями, а также DPU/SmartNIC для NVMe-oF.

Supermicro отмечает, что новая симметричная NUMA-архитектура сокращает задержку обращения к накопителями, обеспечивает баланс пропускной способности и увеличивает гибкость сетевого подключения. А симметричный дизайн шасси улучшает поток воздуха, позволяя использовать более мощные процессоры. В серию войдут платформы SSG-121E-NE316R (1U16, E3.S), SSG-221E-NE324R (2U32, E3.S) и SSG-121E-NES24R (1U24, E1.S) на базе Intel, а также две AMD-платформы: ASG-1115S-NE316R (1U16, E3.S) и ASG-2115S-NE332R (2U32, E3.S).

Производитель сетевого оборудования Arista Networks объявил финансовые показатели IV квартала, завершившегося 31 декабря 2022 года и всего прошлого года. Выручка компании за квартал составила $1,27 млрд, что выше показателя предыдущего квартала на 8,4 % и на 54,7 % больше результата IV квартала 2021 года.

В отчётном квартале доходы от услуг продолжала расти, увеличившись в годовом исчислении на 14,2 % до $178,7 млн за этот период. Из них 15,8 % доходов ($201,5 млн) пришлись на подписки на ПО и услуги. Это означает, что доходы Arista Networks от подписки на ПО составили $22,9 млн, что на 25 % больше прошлогоднего результата благодаря переходу от бессрочных лицензий (связано с обновлением сетевой ОС EOS и ПО для телеметрии и анализа). Чистая прибыль росла быстрее, чем выручка, на 78,5 % до $427,1 млн.

Изображения: Meta/OCP

За 2022 год выручка Arista Networks составила $4,38 млрд, что на 48,6 % больше предыдущего года, при этом продажи продуктов выросли на 56,3 % до $3,72 млрд, а доходы от услуг увеличились на 16,6 % до $665,2 млн. Чистая прибыль выросла на 60,8 % до $1,35 млрд. По оценкам ресурса The Next Platform, клиентская база компании выросла на 12,3 % до 9100 заказчиков.

На сервис-провайдеров, включая небольшие облачные и веб-компании, а также телекоммуникационные компании и хостеров, пришлось 22 % от общего объёма выручки Arista Networks ($1,4 млрд), что на 18,9 % больше, чем в 2021 году. В 2022 году на долю крупных предприятий и фирм, предоставляющих финансовые услуги, приходилось 32 % доходов Arista Networks, что на 18,9 % больше, чем в прошлом году.

Одними из крупнейших клиентов Arista Networks в прошлом году были Meta✴ и Microsoft. В частности, Meta✴ затратила на закупку оборудования Arista Networks для своих ЦОД в пределах $1,12 млрд, а Microsoft израсходовала на эти цели $701 млн. Доходы Arista Networks от продаж крупным гиперскейлерам выросли в годовом исчислении в 2,3 раза, составив почти половину (46 %) всех её доходов за прошлый год. Зависимость от всего двух ключевых заказчиков может сказаться на будущих доходах компании.

В 2023 году Arista Networks ожидает, что выручка вырастет примерно на 25 % до около $5,47 млрд, что представляет собой снижение темпов роста по сравнению с 2022 годом. В частности, это связано с тем, что Microsoft и Meta✴ понадобится время на развёртывание приобретённого оборудования в своих ЦОД. Исследовательская компания Seeking Alpha отметила, что прогнозируемое Meta✴ сокращение затрат в 2023 году с $94–100 млрд до $89–95 млрд, включая снижение расходов на ЦОД, может отразиться на Arista Networks, NVIDIA и Pure Storage, которые были привлечены к созданию суперкомпьютера RSC.

Компания Kioxia анонсировала твердотельные накопители CM7 корпоративного класса, оптимизированные для использования в высокопроизводительных и высокоэффективных серверах, а также системах хранения данных. Уже начаты отгрузки устройств некоторым заказчикам.

Изделия серии CM7 доступны в двух вариантах исполнения: EDSFF E3.S и SFF толщиной 15 мм. Задействован интерфейс PCIe 5.0 (спецификация NVMe 2.0): утверждается, что по сравнению с накопителями предыдущего поколения производительность увеличилась в два раза.

Заявленная скорость чтения информации достигает 14 Гбайт/с; скорость записи не уточняется. Заказчики смогут выбирать между устройствами с разным уровнем надёжности: 1 DWPD (полных перезаписей в сутки) и 3 DWPD. В первом случае вместимость достигает 30,72 Тбайт, во втором — 12,80 Тбайт.

Источник изображения: Kioxia

Накопители CM7 имеют двухпортовую конструкцию. Среди поддерживаемых функций названы SR-IOV, CMB, Multistream writes, SGL. Говорится о поддержке TCG-Opal в соответствии со стандартом FIPS 140-3. Наконец, упомянуты средства обеспечения безопасности Flash Die Failure Protection.

Компания Meta✴ приступила к расширению кампуса дата-центров DeKalb в штате Иллинойс (США), которые, как предполагается, будут применяться для дальнейшего развития метавселенной. Для того, чтобы разработать материал для новых построек, Meta✴ прибегла к помощи искусственного интеллекта — специально подобранные «зелёные» компоненты позволят частично заменить традиционный бетон.

Цемент является основой множества современных строительных материалов, применяемых в промышленных масштабах — по имеющейся статистике на его производство приходится порядка 8 % всех углеродных выбросов в мире. Для того, чтобы создать более приемлемую для экологии альтернативу, Meta✴ объединила усилия с Университетом Иллинойса в Урбане-Шампейне (UIUC), Массачусетским технологическим институтом (MIT) и IBM.

Источник изображения: tech.fb.com

При участии системы искусственного интеллекта была обработана база данных со сведениями о характеристиках и компонентах бетонов. В результате проведённой работы была подобрана смесь летучей золы и шлака, способная частично заменить классический цемент. Полученные данные были переданы поставщику бетона — компании Ozinga, которая оптимизировала смесь исходя из своего опыта и доступности материалов, сохранив при этом необходимую прочность.

Новый «зелёный» бетон, по оценкам Meta✴, обеспечивает на 40 % меньший углеродный выброс при создании. Помимо двух уже строящихся зданий для кампуса будут построены ещё три с использованием новых технологий. По имеющимся сведениям, новую смесь уже применили при строительстве второстепенных объектов. Общая площадь зданий ЦОД составит более 222 тыс. м².

Источник изображения: tech.fb.com

Как и многие штаты, Иллинойс предложил в 2019 году налоговые льготы на ЦОД-оборудование для привлечения операторов. Meta✴ так и не воспользовалась данными преимуществами, но от послаблений при расчётах налога на собственность не отказалась. После введения объектов в эксплуатацию новые ЦОД не только будут способствовать расширению метавселенной, но и обеспечат работой более 200 человек.

На момент первого анонса проекта Meta✴ обещала, что кампус будет использовать 100 % возобновляемой энергии, а строения получат золотой сертификат Leadership in Energy and Environmental Design (LEED) за экологическую безопасность конструкции. Общий объёмы инвестиций в кампус в Иллинойсе составят более $1 млрд. Ранее сообщалась, что Meta✴ активно наращивает инвестиции в строительство ЦОД и сетевую инфраструктуру по всему миру.

Meta✴ (ранее Facebook✴) анонсировала новый крупномасштабный исследовательский кластер — ИИ-суперкомпьютер Meta✴ AI Research SuperCluster (RSC), предназначенный для ускорения решения задач в таких областях, как обработка естественного языка (NLP) с обучением всё более крупных моделей и разработка систем компьютерного зрения.

На текущий момент Meta✴ RSC состоит из 760 систем NVIDIA DGX A100 — всего 6080 ускорителей. К июлю этого года, как ожидается, система будет включать уже 16 тыс. ускорителей. Meta✴ ожидает, что RSC станет самым мощным ИИ-суперкомпьютером в мире с производительностью порядка 5 Эфлопс в вычислениях смешанной точности. Близкой по производительность системой станет суперкомпьютер Leonardo, который получит 14 тыс. NVIDIA A100.

Изображения: Meta✴

Meta✴ RSC будет в 20 раз быстрее в задачах компьютерного зрения и в 3 раза быстрее в обучении больших NLP-моделей (счёт идёт уже на десятки миллиардов параметров), чем кластер Meta✴ предыдущего поколения, который включает 22 тыс. NVIDIA V100. Любопытно, что даже при грубой оценке производительности этого кластера он наверняка бы попал в тройку самых быстрых машин нынешнего списка TOP500.

Новый же кластер создаётся с прицелом на возможность обучения моделей с триллионом параметров на наборах данных объёмом порядка 1 Эбайт. Именно такого объёма хранилище планируется создать для Meta✴ RSC. Сейчас же система включает массив Pure Storage FlashArray объемом 175 Пбайт, 46 Пбайт кеш-памяти на базе систем Penguin Computing Altus и массив Pure Storage FlashBlade ёмкостью 10 Пбайт. Вероятно, именно этой СХД и хвасталась Pure Storage несколько месяцев назад, не уточнив, правда, что речь шла об HPC-сегменте.

Итоговая пропускная способность хранилища должна составить 16 Тбайт/с. Meta✴ RSC сможет обучать модели машинного обучения на реальных данных, полученных из социальных сетей компании. В качестве основного интерконнекта используются коммутаторы NVIDIA Quantum и адаптеры HDR InfiniBand (200 Гбит/с), причём, судя по видео, с жидкостным охлаждением. Каждому ускорителю полагается выделенное подключение. Фабрика представлена двухуровневой сетью Клоза.

Meta✴ также разработала службу хранения AI Research Store (AIRStore) для удовлетворения растущих требований RSC к пропускной способности и ёмкости. AIRStore выполняет предварительную обработку данных для обучения ИИ-моделей и предназначена для оптимизации скорости передачи. Компания отдельно подчёркивает, что все данные проходят проверку на корректность анонимизации. Более того, имеется сквозное шифрование — данные расшифровываются только в памяти узлов, а ключи регулярно меняются.

Однако ни о стоимости проекта, ни о потребляемой мощности, ни о физическом местоположении Meta✴ RSC, ни даже о том, почему были выбраны узлы DGX, а не HGX (или вообще другие ускорители), Meta✴ не рассказала. Для NVIDIA же эта машина определённо стала очень крупным и важным заказом.

Как сообщает Reuters, город Зееволде, расположенный в 50 км от Амстердама, одобрил планы Meta✴, готовой построить крупнейший в Нидерландах дата-центр. Основным назначением нового ЦОД станет обслуживание пользователей Facebook✴, Instagram✴ и WhatsApp на территории Западной Европы. Представитель Meta✴ сообщил, что первоначальные затраты на строительство составят порядка €700 млн, а дата завершения постройки пока не определена.

Объект площадью 166 га будет потреблять 1,38 ГВт и, как ожидается, будет использовать только «зелёную» энергию, в то же время являясь значимым фактором роста для локальной экономики — центр позволит создать 400 рабочих мест в населённом пункте с населением 20 000 человек. Тем не менее, идея его создания неоднократно критиковалась некоторыми политиками и экоактивистами. По оценкам НКО Dutch Data Centre Association, расположенные в Нидерландах ЦОД используют порядка 3 % всей электроэнергии в стране, но к 2030 году этот показатель может вырасти до 10 %.

Изображение: www.zeewolde.nl

Хотя предыдущий состав голландского министерства экономики лоббировал строительство новых ЦОД в стране, включая реализацию крупных проектов компаниями вроде Google и Microsoft, недавно политики начали задаваться вопросами — не должны ли число и местоположение дата-центров определяться национальным правительством? По мнению представителей партий, формирующих новое правительство, дата-центры требуют «необоснованно много» доступной возобновляемой энергии в сравнении с их общественной и экономической значимостью. Об этом они заявили ещё до голосования, проведённого городским советом Зееволде.

Члены правящих партий пообещали в будущем уделять больше внимания национальной координации подобной деятельности и уточнить критерии получения лицензий для такой активности. Тем не менее многие политики признают, что, несмотря на недостатки, связанные с постройкой большого ЦОД в маленьком городе, имеются более важные преимущества, способствующие развитию населённого пункта, причём дата-центры просто необходимы для современной инфраструктуры. Вопрос в том, где именно они будут построены — выгоднее создавать их в Западной Европе, под европейской юрисдикцией.

UPD 22.12.2021: как сообщает Data Center Dynamics, постройка нового дата-центра снова оказалась под угрозой, поскольку парламент страны временно приостановил сделку по продаже земли компании Meta✴.

Консорциум 2Africa по прокладке одной из самых дорогостоящих в мире подводных волоконно-оптических линий сообщили о добавлении четырёх новых ветвей. Таким образом, в общей сложности инфраструктура подключений будет насчитывать 35 точек в 26 странах.

В проект 2Africa входят China Mobile International, Facebook✴, MTN GlobalConnect, Orange, STC, Telecom Egypt, Vodafone и WIOCC. В рамках инициативы будет проложен кабель протяжённостью приблизительно 37 тыс. км, который свяжет Африку, Европу и Средний Восток. В число новых планируемых подключений вошли Сейшельские острова, Коморские острова, Ангола, а также точка на юго-востоке Нигерии. Не так давно было объявлено о включении в проект Канарских островов.

Первичный маршрут 2Africa

О проекте 2Africa впервые стало известно в мае прошлого года. На сегодняшний день выполнена основная часть морских разведывательных работ; ведётся изготовление кабеля. Ввести линию в эксплуатацию планируется к 2024 году. Высокоскоростная магистраль, стоимость которой оценивается почти в $1 млрд, обеспечит скоростным доступом в интернет огромное количество пользователей, которые проживают в соответствующем регионе.