«Инициатива Чан Цукерберг» (CZI), благотворительная организация основателя Facebook✴ Марка Цукерберга (Mark Zuckerberg), намерена создать высокопроизводительный вычислительный кластер с ускорителями NVIDIA. Об этом сообщает ресурс Datacenter Dynamics. Говорится, что в основу платформы лягут более тысячи изделий NVIDIA H100. Кластер планируется использовать для биомедицинских исследований с применением средств ИИ.

Суперкомпьютер будет использоваться для разработки открытых моделей человеческих клеток. При этом планируется применять прогностические методы, обученные на больших наборах данных, таких как те, которые интегрированы в программный инструмент Chan Zuckerberg CELL by GENE (CZ CELLxGENE). Модели также будут обучаться на данных, полученных исследовательскими институтами CZ Science, таких как атлас расположения и взаимодействия белков OpenCell и клеточный атлас Tabula Sapiens, созданный Биоцентром Чана Цукерберга в Сан-Франциско (Biohub San Francisco).

Источник изображения: pixabay.com

Разработка цифровых моделей, способных предсказывать поведение различных типов клеток, поможет исследователям лучше понять здоровое состояние организма и изменения, происходящие при различных заболеваниях.

Корпорация Intel, по сообщению сайта Datacenter Dynamics, намерена создать один из самых мощных в мире суперкомпьютеров для работы с генеративным ИИ. Ресурсы платформы будет использовать компания Stability AI, реализующая проекты в соответствующей сфере. В основу НРС-платформы лягут процессоры Xeon. Кроме того, говорится об использовании приблизительно 4000 ускорителей Gaudi2.

Проект Intel и Stability AI поможет компаниям укрепить позиции на рынке генеративного ИИ. О сроках запуска системы в эксплуатацию и её предполагаемой производительности ничего не сообщается. Ранее Intel обнародовала результаты тестирования Gaudi2 в бенчмарке GPT-J (входит в MLPerf Inference v3.1), основанном на большой языковой модели (LLM) с 6 млрд параметров. По оценкам, Gaudi2 может стать альтернативой решению NVIDIA H100 на ИИ-рынке.

Источник изображения: pixabay.com

Тем не менее, H100 по-прежнему превосходит конкурентов в плане обработки ИИ-задач. Ранее NVIDIA анонсировала программное обеспечение TensorRT-LLM с открытым исходным кодом, специально разработанное для ускорения исполнения больших языковых моделей (LLM). По оценкам NVIDIA, применение TensorRT-LLM позволяет вдвое увеличить производительность ускорителя H100 в тесте GPT-J 6B. При использовании модели Llama2 прирост быстродействия по сравнению с А100 достигает 4,6x.

Schneider Electric выступила с важным заявлением — оборудование для эффективной работы с ИИ-системами оказалось столь ресурсоёмким, что, возможно, операторам и строителям дата-центров придётся пересмотреть принципы создания и модернизации подобных объектов. Компания в своём исследовании даже отметила, что некоторые существующие ЦОД вряд ли подлежат модернизации в принципе.

Дело в том, что ИИ-системы обычно требуют сетевой инфраструктуры с низким временем задержки передачи данных в больших объёмах и «уплотнения» стоек, к чему инфраструктурные характеристики нынешних ЦОД просто не готовы. В условиях, когда один современный ускоритель может потреблять более 700 Вт, а серверные системы перешагнули за 10 кВт, мощностей современных ЦОД явно недостаточно, ведь для тренировки современных больших языковых моделей (LLM) за разумное время нужен не один-два ускорителя, а десятки или сотни стоек.

Фото: Anthony Indraus / Unsplash

В Schneider Electric заявляют, что большинство дата-центров имеет лимит в 10–20 кВт на стойку, а для работы с LLM крайне выгодно упаковать как можно больше оборудования в одну стойку, чтобы уменьшить задержки, избежать заторов в сети и вообще поменьше тратиться на интерконнект. Именно для этого NVIDIA, например, развивает NVLink. Хотя дешёвым такое решение вряд ли не назовёшь, по TCO оно действительно может оказаться выгоднее. Впрочем, с инференсом ситуация не столь печальна, поскольку ресурсов требуется гораздо меньше.

Источник: Schneider Electric

Так или иначе, встаёт вопрос о повышенном энергоснабжении стоек (более 20 кВт) и эффективном теплоотводе этой мощности. Проблемы разрешимы, но операторам придётся менять физическую инфраструктуру. Например, необходим переход с 120/208 В на 240/415 В, который позволит уменьшить число цепей. Впрочем, в самой Schneider Electric подчёркивают, что даже современные мощные PDU плохо подходят для таких нагрузок — их надо или ставить несколько на стойку, или вообще заказывать кастомные. Более того, придётся озаботиться защитой от появления дуговых разрядов.

Источник: Schneider Electric

Что касается охлаждения, то Schneider Electric поставила лимит в 20 кВт/стойку, выше которого избежать СЖО уже никак не удастся. Компания склоняется к системам прямого жидкостного охлаждения с водоблоками для горячих компонентов, а вот к погружным СЖО относится прохладно, особенно к двухфазным СЖО. Причина кроется в использование в них PFAS-химикатов, запрет которых возможен в Евросоюзе. В любом случае рекомендуется внимательно отнестись к выбору СЖО из-за фактического отсутствия единых стандартов.

Источник: Schneider Electric

Если особенности строений всё-таки допускают модернизацию (а это далеко не всегда так), рекомендуется использование более широких стоек высотой от 48U (не забыв про высоту проёмов и ворот) с глубиной монтажа оборудования не менее 40″, способных выдерживать статическую нагрузку не менее 1,8 т. Наконец, Schneider Electric советует использовать широкий ассортимент специализированного ПО для управления инфраструктурой ЦОД, электроснабжением и прочими аспектами работы — такое ПО способно выявить возможные проблемы до того, как они окажут критическое влияние на критические для бизнеса рабочие процессы.

Компания ASUS анонсировала материнскую плату S14NA-U12 типоразмера CEB, предназначенную для построения серверов на процессорах AMD EPYC 8004 Siena. Допускается установка одного чипа в исполнении Socket SP6 (LGA 4844) с показателем TDP до 225 Вт.

Новинка располагает 12 слотами для модулей оперативной памяти DDR5-4800/4000/3600 RDIMM/3DS RDIMM суммарным объёмом до 3 Тбайт. Есть два разъёма PCIe 5.0 x16 и один слот PCIe 5.0 x8.

Доступны два коннектора M.2 с поддержкой модулей формата 2280/22110 с интерфейсом PCIe 5.0 x4 или SATA-3. Кроме того, предусмотрены пять разъёмов MCIO с поддержкой PCIe 5.0 x8. В оснащение входит двухпортовый сетевой контроллер Broadcom BCM57414B1KFSBG стандарта 25GbE.

Источник изображения: ASUS

Интерфейсный блок содержит два порта USB 3.2 Gen1, два коннектора SFP28, аналоговый разъём D-Sub, а также сетевой порт управления с гнездом RJ-45. Через разъёмы на самой плате можно задействовать дополнительные порты USB 3.2 Gen1 и последовательный порт.

Диапазон рабочих температур простирается от +10 до +35 °C. Габариты материнской платы составляют 305 × 267мм.

Высокопроизводительный вычислительный комплекс для Исследовательской лаборатории ВВС США (AFRL), по сообщению ресурса Datacenter Dynamics, прибыл на базу Райт-Паттерсон в Огайо. Суперкомпьютер, построенный Penguin Computing, получил название Raider.

Изображения: AFRL

Новая НРС-система имеет производительность приблизительно 12 Пфлопс. Raider является частью более широкой программы модернизации высокопроизводительных вычислений Министерства обороны и будет доступен ВВС, армии и флоту США. Суперкомпьютер примерно в четыре раза мощнее своего предшественника — комплекса Thunder, запущенного в 2015 году: у этой системы производительность составляет 3,1 Пфлопс. Использовать Raider планируется прежде всего для решения сложных задач в области моделирования различных процессов.

В опубликованных в прошлом году документах говорится, что Raider должен был получить 189 тыс. вычислительных ядер. Предполагалось, что система будет включать 356 узлов различного назначения и конфигурации и получит процессоры AMD EPYC 7713 (Milan), 44 Тбайт RAM, 152 ускорителя NVIDIA A100, 200G-интерконнект InfiniBand HDR и 20-Пбайт хранилище. Однако заявленная производительность этой системы составляла 6,11 Пфлопс, так что характеристики суперкомпьютера явно скорректировали.

В дополнение к Raider Исследовательская лаборатория ВВС США заказала два других суперкомпьютера — TI-23 Flyer и TI-Raven, которые, как ожидается, будут обеспечивать производительность на уровне 14 Пфлопс. Ввод этих систем в эксплуатацию запланирован на 2024 год.

Компания ASRock Rack анонсировала материнские платы с поддержкой новейших процессоров AMD EPYC 8004 Siena в исполнении Socket SP6 (LGA 4844). Дебютировали модели SIENAD8-2L2T, SIENAD8UD-2L2Q и SIENAD10HM3, предназначенные для построения односокетных серверов.

Версия SIENAD8-2L2T выполнена в формате АТХ. Она снабжена восемью слотами для модулей оперативной памяти DDR5-4800, четырьмя разъёмами PCIe 5.0 x16 (в том числе с поддержкой CXL1.1) и разъёмом PCIe 5.0 x8. Есть два коннектора M.2 22110/2280 (PCIe 5.0 x4), по два сетевых порта 10GbE и 1GbE с коннекторами RJ45, а также сетевой порт управления. Плюс к этому доступны два порта USB 3.2 Gen1 Type-A и аналоговый разъём D-Sub.

Источник изображений: ASRock Rack

Плата SIENAD8UD-2L2Q, в свою очередь, соответствует типоразмеру Deep Micro-ATX. Предусмотрены восемь слотов DDR5-4800, два разъёма PCIe5.0 / CXL1.1 x16, слот PCIe5.0 / CXL1.1 x8, два коннектора M.2 22110/2280 (PCIe 5.0 x4), два коннектора MCIO (PCIe 5.0 x8 или 8 × SATA-3), три разъёма MCIO (PCIe 5.0 x8) и коннектор OCuLink (PCIe 3.0 x4). Есть по два порта 1GbE RJ45 и 25GbE SFP28, выделенный сетевой порт управления, два порта USB 3.2 Gen1 Type-A и разъём D-Sub.

Модель SIENAD10HM3 половинной ширины получила 10 разъёмов DDR5-4800, два слота Slim Cool Edge PCIe 5.0 x16, два коннектора M.2 22110/2280 (PCIe 5.0 x4 или SATA-3), по одному разъёму MCIO (PCIe 5.0 / CXL1.1 x8 или 8 × SATA-3) и OCuLink (PCIe 3.0 x4). Имеются контроллеры ASPEED AST2600 и Realtek RTL8211F (выделенный сетевой порт управления).

Компания TYAN, подразделение MiTAC Computing Technology Corporation, представила новые продукты с поддержкой процессоров AMD EPYC 8004 Siena. В частности, дебютировали односокетная материнская плата Tomcat CX S8040 и сервер Transport CX GC73A B8046 типоразмера 1U.

Плата Tomcat CX S8040 выполнена в формате ATX с размерами 305 × 243,8 мм. Допускается установка процессоров в исполнении Socket SP6 с показателем TDP до 225 Вт. Есть восемь слотов для модулей оперативной памяти DDR5-4800/3600 и четыре порта SATA-3.

Новинка располагает четырьмя слотами PCIe 5.0 x16 и двумя разъёмами M.2 22110/2280 (NVMe). Кроме того, предусмотрены по два коннектора MCIO 8x и MCIO 4x, по два сетевых порта 10GbE и 1GbE, порт управления 1GbE, коннектор D-Sub и последовательный порт. Диапазон рабочих температур простирается от +10 до +35 °C.

В свою очередь, сервер Transport CX GC73A B8046 имеет габариты 730 × 438,5 × 43,6 мм. Он несёт на борту материнскую плату S8046GM с возможностью установки одного чипа в исполнении Socket SP6 (до 225 Вт). Доступны 12 слотов для модулей RDIMM DDR5-4800. Во фронтальной части расположены 12 отсеков для SFF-накопителей.

Есть слоты расширения FH/HL и FH/FL с поддержкой PCIe 5.0 x16, сетевой адаптер Realtek RTL8211F стандарта 1GbE, контроллер Aspeed AST2600, два порта USB 3.2 Gen.1 и порт USB 2.0. Питание обеспечивают два блока мощностью 1300 Вт с сертификатом 80 Plus Titanium.

Компания AMD продолжает экспансию на серверном рынке: сегодня она анонсировала выпуск новой разновидности процессоров EPYC четвёртого поколения — чипы EPYC 8004, известные под кодовым именем Siena. Это энергоэффективные процессоры, предназначенные для применения в сфере периферийных вычислений и телекоммуникационного оборудования.

Архитектурно ничего нового в EPYC 8004 нет — основе лежит тот же дизайн ядер Zen 4c, применяемый в процессорах EPYC Bergamo и позволивший создать AMD первые в мире 128-ядерные процессоры с архитектурой x86. В числе прочего, это означает и наличие поддержки AVX-512.

Источник изображений здесь и далее: AMD

Компания продолжает придерживаться уже хорошо освоенной модели создания новых процессоров путём компоновки вычислительных 5-нм чиплетов CCD вокруг унифицированного 6-нм чиплета IOD, выполняющего роль хаба ввода-вывода. Однако есть и существенные изменения. Так, в процессорах серии Siena была серьёзно усечена подсистема памяти, с 12 до 6 каналов DDR5. Также пострадала подсистема PCI Express, включающая 96 линий PCIe 5.0 вместо 128.

Всё это позволило сделать процессоры компактнее, но потребовало введения нового сокета SP6 с меньшим числом контактов — 4844 против 6096 контактов у SP5. Такой ход позволит снизить себестоимость производства системных плат для EPYC 8004, тем более что поддержки двухпроцессорных конфигураций новые чипы AMD не предусматривают.

Всего в новой серии AMD анонсировала 12 процессоров, с количеством ядер от 8 до 64 (16—128 потоков), в вариациях с настраиваемым теплопакетом и фиксированным в соответствии со стандартом NEBS (Network Equipment-Building System); последний также предусматривает более широкий диапазон рабочих температур (от -5 до +85 °C).

Нельзя, впрочем, сказать, что теплопакет как-то особенно низок даже у младших 8-ядерных моделей — он стартует с отметки 80 Вт (для модели с настраиваемым TDP этот показатель можно снизить до 70 Вт), а в максимальных конфигурациях система охлаждения CPU должна справляться с отводом 175–225 Ватт. Для периферийных систем и телекоммуникационного оборудования этого добиться не всегда просто.

Можно назвать и другие ограничения: так, использование прежнего дизайна IOD-чиплета означает поддержку памяти со скоростью до DDR5-4800, причём лишь при одном модуле DIMM на канал, а поддержка 3DS RDIMM отсутствует, что ограничивает максимальный объём оперативной памяти отметкой 1152 Гбайт (12 × 96 Гбайт RDIMM). Из 96 линий PCIe лишь половина может работать в режиме CXL.

А конкуренция со стороны Intel в этом сегменте будет очень жёсткой: поскольку речь идёт о телекоммуникационном оборудовании, у «синих» имеется готовый стек решений vRAN и отлично подходящие для его запуска процессоры Xeon EE с поддержкой vRAN Boost, а также ещё более экономичные Xeon D-2700 с интегрированным 100GbE-контроллером, поддерживающие третье поколение Quick Assist и полноценные расширения AVX-512 и VNNI/DL.

AMD хочет противопоставить этому «чистую» вычислительную мощность, достигаемую за счёт количества ядер. Это может сыграть решающую роль при использовании программного обеспечения, неспособного использовать все преимущества ускорителей в процессорах Intel. Также потенциальных заказчиков должна привлечь низкая совокупная стоимость владения для систем на базе EPYC Siena, достигаемой за счёт высокой удельной производительности новых процессоров.

Компания сообщает, что процессоры EPYC 8004 уже доступны в новых периферийных серверах таких производителей, как Dell, Lenovo и Supermicro, анонсировала новые решения и Giga Computing. Также поддержали выпуск новых чипов Microsoft Azure и Ericsson. Последняя, напомним, весной этого года подписала с AMD соглашение о разработке открытого RAN-стека, что позволит ей «отвязаться» в своих продуктах от решений исключительно Intel.

Компания Giga Computing, серверное подразделение Gigabyte, анонсировала серверы и материнские платы с поддержкой процессоров AMD EPYC 8004 Siena, которые впервые были представлены ещё в июне 2022 года.

Чипы Siena оптимизированы с точки зрения энергоэффективности. Они насчитывают до 64 ядер Zen 4 с возможностью одновременного выполнения двух потоков инструкций. Реализована поддержка оперативной памяти DDR5-4800 и 96 линий PCIe 5.0. Показатель TDP варьируется от 80 до 200 Вт.

В семейство серверов Giga Computing с поддержкой EPYC Siena вошли модели R143-EG0 (rev. AAC1), R143-EG0 (rev. AAC2), R143-EG2 (rev. AAC2), R243-EG0 (rev. AAF1) и R243-EG0 (rev. AAL1). Первые три устройства выполнены в формате 1U, два других — 2U. Говорится о поддержке накопителей SATA и SAS, тогда как R143-EG0 (rev. AAC2) и R143-EG2 (rev. AAC2) также допускают установку NVMe-устройств.

Источник изображений: Giga Computing

Модели R143-EG0 (rev. AAC1) и R143-EG0 (rev. AAC2) снабжены четырьмя посадочными местами для накопителей LFF/SFF, а версия R143-EG2 (rev. AAC2) — 12 отсеками для SFF-изделий. Серверы располагают разъёмом для двухслотовой карты расширения и коннектором OCP 3.0. Питание обеспечивают два блока мощностью 1300 Вт с сертификатом 80 Plus Platinum.

В свою очередь, серверы R243-EG0 (rev. AAF1) и R243-EG0 (rev. AAL1) наделены 12 отсеками для накопителей LFF/SFF, а также четырьмя разъёмами для двухслотовых ускорителей. Есть разъём OCP 3.0. Первое из этих устройств оснащено двумя блоками питания мощностью 2400 Вт с сертификатом 80 Plus Platinum, второе — двумя блоками на 2700 Вт с сертификатом 80 Plus Titanium.

Анонсированы также материнские платы ME33-AR0, ME03-CE0, ME03-CE1 и ME03-PE0. Первая имеет формат E-ATX, три других — ATX. Поддерживается работа с памятью DDR5, накопителями NVMe и SATA. Задействован BMC-контроллер Aspeed AST2600. Предусмотрены слоты PCIe 5.0 и 4.0.

Компания IDC опубликовала свежий прогноз по европейскому рынку ИИ: аналитики полагают, что отрасль продолжит демонстрировать устойчивый рост — вопреки макроэкономическим сложностям, высокому уровню инфляции и геополитическим трудностям.

По оценкам, затраты на ИИ в Европе достигнут $34,2 млрд по итогам 2023 году, что составит приблизительно 20,6 % от мирового объёма. Показатель CAGR (среднегодовой темп роста в сложных процентах) в период с 2022-го по 2027 год на европейском рынке прогнозируется на отметке 29,6 % против 26,9 % в глобальном масштабе. В результате, в 2027-м затраты на ИИ в Европе превысят $96,1 млрд в год.

Источник изображения: IDC

Крупнейшими ИИ-сегментами названы банковское дело, профессиональные услуги, розничная торговля, производство и телекоммуникации: на них в 2023 году придётся более 60 % всех затрат на европейском рынке. В частности, банковские ИИ-сервисы принесут 15,7 % выручки, профессиональные услуги — 11,2 %. Доля ретейла составит 10,9 %, различных производств — 18,3 %.

ИИ-затраты в других отраслях, таких как здравоохранение, средства массовой информации, личные и потребительские услуги, коммунальные сервисы, окажутся меньше, однако темпы роста здесь превышают средний показатель по рынку. В целом, развитию отрасли в Европе способствуют приложения на базе генеративного ИИ. Средства ИИ рассматриваются в качестве инструментов для повышения операционной эффективности и качества обслуживания клиентов, оптимизации IT, улучшения безопасности, предотвращения атак и пр.