Cerebras Systems совместно с Сандийскими национальными лабораториями (SNL) Министерства энергетики США (DOE) провели успешный эксперимент по обучению ИИ-модели с 1 трлн параметров с использованием единственной системы CS-3 с царь-ускорителем WSE-3 и 55 Тбайт внешней памяти MemoryX.

Обучение моделей такого масштаба обычно требует тысяч ускорителей на базе GPU, потребляющих мегаватты энергии, участия десятков экспертов и недель на наладку аппаратного и программного обеспечения, говорит Cerebras. Однако учёным SNL удалось добиться обучения модели на единственной системе без внесения изменений как в модель, так и в инфраструктурное ПО. Более того, они смогли добиться и практически линейного масштабирования — 16 систем CS-3 показали 15,3-кратный прирост скорости обучения.

Источник изображения: Cerebras

Модель такого масштаба требует терабайты памяти, что в тысячи раз больше, чем доступно отдельному GPU. Другими словами, классические кластеры из тысяч ускорителей необходимо корректно подключить друг к другу ещё до начала обучения. Системы Cerebras для хранения весов используют внешнюю память MemoryX на базе 1U-узлов с самой обычной DDR5, благодаря чему модель на триллион параметров обучать так же легко, как и малую модель на единственном ускорителе, говорит компания.

Ранее SNL и Cerebras развернули кластер Kingfisher на базе систем CS-3, который будет использоваться в качестве испытательной платформы при разработке ИИ-технологий для обеспечения национальной безопасности.

Облачная платформа AWS анонсировала инстансы второго поколения с FPGA на борту. Экземпляры EC2 F2 ориентированы на решение задач в области геномики, обработки мультимедийных материалов, больших данных, спутниковой связи, компьютерных сетей, моделирования кремниевых чипов и видеотрансляций в реальном времени.

В новых инстансах применяются FPGA AMD Virtex UltraScale+ HBM VU47P. Эти изделия содержат 2,852 млн логических ячеек и 9024 DSP. Заявленная ИИ-производительность достигает 28 TOPS при вычислениях INT8. Кроме того, в состав EC2 F2 входят процессоры AMD EPYC поколения Milan.

Новые инстансы доступны в вариантах f2.12xlarge и f2.48xlarge — с 48 и 192 vCPU и 2 и 8 FPGA соответственно. Каждая ПЛИС оперирует 16 ГиБ памяти HBM и 64 ГиБ памяти DDR4. Таким образом, в случае f2.12xlarge используется в сумме 32 ГиБ HBM и 128 ГиБ DDR4, а в случае f2.48xlarge — 128 ГиБ и 512 ГиБ соответственно.

Источник изображения: AWS

Конфигурация f2.12xlarge включает 512 ГиБ системной памяти и два накопителям NVMe SSD суммарной вместимостью 1900 ГиБ. Пропускная способность сетевого подключения составляет 25 Гбит/с, пропускная способность EBS-томов — 15 Гбит/с. У экземпляра f2.48xlarge объём памяти составляет 2048 ГиБ, общая вместимость NVMe SSD — 7600 ГиБ. Пропускная способность сетевого подключения и EBS-томов достигает 100 Гбит/с и 60 Гбит/с соответственно. Для этого экземпляра предусмотрена поддержка AWS Cloud Digital Interface (CDI) для надёжной передачи несжатого видео (задержка между инстансами заявлена на уровне 8 мс).

Компания Ayar Labs, занимающаяся разработкой интерконнекта на базе кремниевой фотоники, объявила о проведении раунда финансирования Series D, в ходе которого привлечено $155 млн. При этом рыночная стоимость стартапа, по оценкам, достигла $1 млрд.

По заявлениям Ayar Labs, компания создала первое в отрасли решение для оптического ввода-вывода в виде изделия в едином корпусе, которое готово к коммерческому использованию. Продукт оптимизирован для объединения чипов для обучения ИИ-моделей и инференса. Технология Ayar Labs предполагает обмен данными между чипами посредством света, а не электрических импульсов. Решение, как утверждается, позволяет максимизировать вычислительную эффективность и производительность инфраструктуры ИИ при одновременном снижении затрат и энергопотребления.

Источник изображения: Ayar Labs

В мае 2023 года Ayar Labs сообщила о привлечении $25 млн инвестиций по расширенной программе Series C1. Тогда финансовую поддержку оказали Capital TEN, VentureTech Alliance, Boardman Bay Capital Management, IAG Capital Partners, NVIDIA и Tyche Partners. В число инвесторов также входят Applied Ventures, GlobalFoundries, Hewlett Packard Pathfinder, Intel Capital и Lockheed Martin Ventures.

Новый инвестиционный раунд Series D возглавили Advent Global Opportunities и Light Street Capital. Средства также предоставили AMD Ventures, Intel Capital и NVIDIA. Другими стратегическими инвесторами, участвующими в раунде, стали 3M Ventures и Autopilot. Таким образом, в общей сложности Ayar Labs на сегодняшний день привлекла $370 млн. Ожидается, что полученные средства помогут стартапу в дальнейшем развитии и масштабировании своей технологии оптического интерконнекта. Кроме того, компания планирует расширение штата.

Компания HPE анонсировала СХД семейства MSA Gen7 — устройства начального уровня, разработанные специально для предприятий малого и среднего бизнеса. Решения, выполненные в форм-факторе 2U, будут предлагаться в различных конфигурациях, включая гибридные версии и варианты только на основе SSD.

СХД серии MSA Gen7, как утверждает разработчик, обеспечивают вдвое более высокую производительность на операциях произвольного чтения по сравнению с устройствами предыдущего поколения (Gen6) — до 783 тыс. IOPS. При этом устоявшаяся пропускная способность увеличилась с 13,1 до 14,1 Гбайт/с. Говорится о хорошей масштабируемости: при использовании дополнительных модулей расширения суммарная вместимость может достигать 7,37 Пбайт.

Источник изображения: HPE

В семейство входят несколько базовых модификаций — HPE MSA 2070, HPE MSA 2072 и HPE MSA 2070 Flash Bundle. Первая использует два контроллера в расчёте на массив. Возможна установка 12 HDD/SSD в формате LFF или 24 HDD/SSD типоразмера SFF с интерфейсом SAS-3. Говорится о поддержке интерфейсов FC16, 10/25GbE iSCSI (SFP+), 1/10GBASE-T. Данная версия подходит для формирования хранилищ большой вместимости.

В свою очередь, HPE MSA 2072 изначально комплектуется двумя высокопроизводительными SSD ёмкостью 1,92 Тбайт каждый, оптимизированными для интенсивных операций чтения. Это доступное решение для предприятий, которым нужна гибридная система, обеспечивающая перемещение данных между высокопроизводительными и архивными уровнями хранения для оптимизации эффективности и экономии средств. Наконец, вариант HPE MSA 2070 Flash Bundle несёт на борту 12 SSD на 1,92 или 3,84 Тбайт каждый.

Все новинки совместимы с Windows Server, VMware vSphere, Red Hat Linux, SUSE SLES. Гарантия производителя составляет три года.

Broadcom пересмотрела свою стратегию относительно VMware, сделав, по определению главного аналитика Canalys Аластера Эдвардса (Alastair Edwards), «разворот», поскольку многие клиенты начали присматриваться к альтернативам платформы виртуализации, столкнувшись со значительным ростом расходов при продлении подписок из-за нововведений в лицензировании.

В интервью The Register Эдвардс рассказал, что об откате без особого шума было объявлено на ноябрьской конференции VMware Explore в Барселоне. В частности, Broadcom отказалась от планов работать напрямую с 2000 крупнейших «стратегических» пользователей VMware, сосредоточившись только на 500. Остальные она передаст партнёрам.

По словам Эдвардса, Broadcom понимает, что её лучшая защита от ухода клиентов в том, чтобы при внедрении её решений частного облака они видели высокую окупаемость инвестиций. Broadcom рассматривает возврат 1500 крупных заказчиков партнёрам как способ сделать это. Компания даже готова предоставить 15 % от стоимости сделок на оплату профессиональных услуг, чтобы ПО VMware было побыстрее введено в эксплуатацию. Комментируя решение Broadcom, Эдвардс сказал, что у него нет полной уверенности в том, что этого шага будет достаточно, чтобы переломить ситуацию.

Источник изображения: Sebastian Herrmann / Unsplash

Broadcom после приобретения VMware произвела ряд изменений, повлекших за собой рост стоимости лицензий, что вызвало недовольство клиентов, начавших изучать миграцию на другие платформы. Broadcom отменила бессрочные лицензии, предложив исключительно подписки и объединила ряд продуктов в наборы, которые в некоторых случаях оказались дороже и часть компонентов которых была без надобности клиентам. Часть продуктов была закрыта или продана. Попутно компания свернула партнёрскую программу, решив вести дела с 2000 клиентов напрямую, и отменила скидки.

Директор по работе с партнёрами Dell Дениз Миллард (Denise Millard) предположила, что речь идёт не просто об альтернативах VMware. По её словам, когда приходит время продлевать лицензии VMware, клиент размышляет, оставаться на платформе VMware, перейти на другую платформу или же использовать гибридную модель. Многие могут выбрать именно последний вариант, говорит Миллард.

«Клиенты говорят, что хотят защиты инвестиций», — заметила Миллард, поскольку они чувствуют, что единый интегрированный стек больше не обеспечивает необходимую им эффективность, поэтому они готовы использовать серверы, работающие под управлением разных гипервизоров наряду с конвергентными стеками. Используя параллельно решения разных вендоров, клиенты избегают привязки только к одному и защищают инвестиции, говорит Миллард. Dell, которая теперь не столь тесно связана с VMware, охотно продаст клиентам всё, что они пожелают — стеки виртуализации Red Hat, Nutanix или VMware — вместе с собственными серверами.

Входящая в группу МТС компания МТС Web Services (MWS) объявила о начале расширения собственного дата-центра GreenBushDC в Зеленограде. ЦОД получит ещё 650 стойко-мест, а энергетическая ёмкость объекта вырастет более чем вдвое, сообщает пресс-служба компании.

GreenBushDC ввели в эксплуатацию в 2018 году, он рассчитан на общую проектную мощность 19 МВт. Размещение оборудования предусмотрено в трёх независимых модулях, площадь которых составит 5220 м². Пока в эксплуатацию ввели лишь первый модуль с отказоустойчивостью уровня Tier III.

Завершение работ по масштабированию дата-центра намечено на лето 2025 года. Новые стойки отведут под облачную инфраструктуру МТС Web Services, на основе которой клиенты получают доступ к облачным услугам МТС. Будут предложены PaaS- и SaaS-решения.

Источник изображения: MWS

Компания неуклонно расширяет существующие ЦОД и строит новые объекты с учётом роста потребностей в облачной инфраструктуре, говорится в пресс-релизе. По завершении проекта строительства обновлённый GreenBushDC будет оснащён 1250 стойками, а когда заполнятся и они — компания расширит дата-центр ещё на 30 %.

В компании заявляют, что система географически распределённых сетей дата-центров MWS — одна из крупнейших в России, она используется для предоставления как облачных, так и телеком-сервисов МТС. Всего МТС управляет 15 дата-центрами, пять из которых находятся в Московском регионе. В конце сентября уже сообщалось, что МТС инвестирует 20 млрд рублей в расширение облачной инфраструктуры ЦОД.

Компания Delta Computers, российский производитель IT-оборудования и поставщик ПО, анонсировала СХД Delta Marlin, рассчитанную на работу с накопителями U.2 NVMe, оснащёнными интерфейсом PCIe 5.0. Кроме того, представлена платформа хранения Delta Guepard с гибкими вариантами конфигурации.

Решение Delta Marlin — система высокой плотности, которая может использоваться как для расширения дискового пространства сервера, так и в составе высокоскоростных программного-определяемых СХД. Возможна организация двухконтроллерного сценария благодаря dual-port режиму SSD.

Система в зависимости от варианта исполнения допускает установку 18 накопителей SFF толщиной 7мм или девяти SSD толщиной 15 мм. Кроме того, возможно подключение до 36 накопителей в 2OU-модуле. Предусмотрены два слота расширения для карт PCIe 5.0 х16 HHHL. Применяется встроенное ПО Delta BMC. Питание осуществляется от общей DC-шины OCP на 12 В. В системе охлаждения задействованы шесть вентиляторов с резервированием по схеме N+1.

Источник изображений: Delta Computers

В свою очередь, Delta Guepard — это семейство СХД, оптимизированных для высокопроизводительных приложений, требующих низкой задержки ввода-вывода и высокой пропускной способности. Устройства основаны на модульной архитектуре. Модификации Delta Guepard Gen 1 в форм-факторах 4U и 6U/8U рассчитаны соответственно на 30 и 60 накопителей SFF/LFF SATA HDD или U.2 (7–15 мм) NVMe SSD. Максимальная суммарная вместимость — 720 (30 накопителей) и 1440 (60 накопителей) Тбайт. Варианты Delta Guepard Gen 2 в исполнениях 4U и 6U/8U допускают установку до 36 и 72 накопителей U.2 NVMe, а общая вместимость составляет до 276 и 552 Тбайт.

Все устройства Delta Guepard наделены двумя контроллерами. Возможно формирование массивов RAID 0/1/5/6/10/50/60/70. Поддерживаются протоколы SMB v2/v3, NFS v3/v4, AFP, FTP, а также Fibre Channel; iSCSI; InfiniBand (FDR, QDR, DDR, EDR). Питание осуществляется от централизованного шинопровода OCP на 12 В. В продажу решения поступят в I квартале 2025 года.

Консорциум PCI-SIG — организация, ответственная за разработку и распространение стандарта PCI Express (PCIe), объявила о достижении важной вехи — теперь в её составе насчитывается тысяча компаний.

Как сообщает пресс-служба организации, технология PCIe, представленная ещё в 2003 году, в последнее время стала ключевым IO-стандартом, а в 2022 году PCI-SIG отметила 30-летие своей инновационной деятельности. В следующем году планируется представить новейший стандарт PCIe 7.0.

По словам главы PCI-SIG Эла Янеса (Al Yanes), в последние 32 года именно многообразие участников консорциума позволило создать надёжный, универсально совместимый (в том числе обратно совместимый) интерфейс. Ожидается, что его внедрение продолжится и в новых сферах ИИ и машинного обучения (ML), а также HPC-вычислений в целом.

Источник изображения: DESIGNECOLOGIST/unsplash.com

PCI-SIG уже разработала разнообразные технологии и спецификации PCI, а также шесть поколений интерфейса PCIe. В числе наиболее актуальных инноваций — представленные в 2024 году спецификации кабелей CopprLink для внутренних и внешних соединений, а также создание рабочих групп, изучающих оптические соединения.

Участники PCI-SIG получают:

• возможность использовать платы расширения на более ранних версиях PCIe (и наоборот);
• участвовать в мероприятиях по тестированию продукции: бесплатных семинарах, в ходе которых участники могут протестировать новые продукты;
• возможность справедливого и недискриминационного использования интеллектуальной собственности, что гарантирует равные условия для всех участников;
• равный доступ ко всем сервисам, любой имеет возможность претендовать на место в совете директоров организации;
• право принимать участие в обсуждении и разработке стандартов;
• бесплатный доступ к конференциям и вебинарам организации.

Участие в PCI-SIG свободно, о преимуществах и условиях вступления можно узнать на сайте компании или в её социальных сетях.

Ещё в июне 2024 года сообщалось, что разработка и внедрение новых стандартов PCI Express не ускорятся, но PCI-SIG не видит в этом проблемы.

Облачная платформа AWS объявила о доступности инстансов EC2 P5en, рассчитанных на такие нагрузки, как глубокое обучение, генеративный ИИ, обработка данных в реальном времени и приложения HPC. В основу новых экземпляров положены аппаратные компоненты Intel и NVIDIA.

В частности, задействованы кастомизированные процессоры Xeon Sapphire Rapids. У них все ядра могут одновременно работать на турбо-частоте 3,2 ГГц, а максимальная частота отдельных ядер достигает 3,8 ГГц. Кроме того, применяются ИИ-ускорители NVIDIA H200 и адаптеры AWS Elastic Fabric Adapter (EFA) v3 с пропускной способностью до 3,2 Тбит/с.

Конфигурация инстансов EC2 P5en включает 192 vCPU, 2048 ГиБ памяти, восемь ускорителей H200 и восемь SSD вместимостью 3,84 Тбайт каждый. Пропускная способность EBS составляет 100 Гбит/с. Отмечается, что экземпляры P5en демонстрируют увеличение производительности локального хранилища до двух раз и пропускной способности EBS до 25 % по сравнению с инстансами P5 на базе NVIDIA H100.

Источник изображения: NVIDIA

На сегодняшний день инстансы EC2 P5en доступны в американских регионах AWS US East (Огайо) и US West (Орегон), а также в Азиатско-Тихоокеанском регионе в Токио. Предлагаются различные тарифные опции, включая оплату по мере использования.

Ранее были представлены инстансы EC2 P5e с процессорами AMD EPYC Milan, 2 ТиБ памяти, восемью ускорителями NVIDIA H200 и восемью NVMe SSD на 3,84 Тбайт каждый. У этих экземпляров пропускная способность EBS равна 80 Гбит/с.

AWS рассказала об инновациях, внедряемых в её ЦОД для поддержки ИИ-нагрузкок следующего поколения. По данным DataCenter Dynamics, нововведения связаны в первую очередь с электропитанием и охлаждением. Они направлены на повышение энергоэффективности дата-центров AWS. Первые ЦОД на базе новой архитектуры заработают в начале 2025 года.

Новые решения в свежих новых дата-центрах компании по всему миру, а некоторые начнут применять уже на существующих объектах. В компании подчёркивают, что решения изначально спроектированы как модульные, поэтому возможная поэтапная модернизация площадок для внедрения СЖО, повышения энергоэффективности и снижения углеродного следа. Так, AWS упростит электрическую и механическую структуру новых ЦОД, чтобы облегчит их обслуживание и повысить надёжность.

В частности, упростится подход к распределению энергии внутри ЦОД, а источники резервного питания будут размещаться ближе к стойкам. Это позволит повысить доступность инфраструктуры до 99,9999 % времени, а количество стоек, которых могут коснуться проблемы с энергоснабжением, снизится на 89 %. Также уменьшится количество вентиляторов для отвода горячего воздуха. Вместо этого будет применяться естественный перепад давления, что положительно скажется на энергопотреблении. Вместе с тем AWS намерено вшестеро увеличить мощность стойки в следующие два года, и ещё втрое — в будущем.

Впрочем, в ИИ-серверах, где мощность ускорителей приближается к 1 кВт, без СЖО обойтись сложно. AWS готовит суперкластеры Project Rainier и Project Ceiba на базе AWS Tranium2 и NVIDIA Blackwell соответственно, поэтому она вместе с крупным производителем СЖО будет внедрять прямое жидкостное охлаждение и в новых, и в старых ЦОД. В некоторых случаях будет использоваться и гибридное охлаждение. Одним из главных плюсов новой архитектуры охлаждения является гибкость — акцент на воздушное или жидкостное охлаждение будет делаться в зависимости от потребностей оборудования и возможностей конкретных дата-центров.

Источник изображений: AWS

Заодно AWS использовала имеющиеся данные и генеративный ИИ для поиска наиболее эффективного способа размещения стоек в своих ЦОД, добавив ещё 12 % вычислительных мощностей на каждую площадку. Новая технология будет применяться как к новому оборудованию для ИИ-систем, так и для других типов техники. Также компания внедрила собственную систему управления механическими и электрическими устройствами — она поможет стандартизировать мониторинг и эксплуатацию дата-центров.

Наконец, предприняты усилия по повышению экобезопасности дата-центров. AWS заявила, что новая архитектура охлаждения снизит потребление энергии на 46 % во времена пиковых нагрузок без увеличения потребления воды. Доля углеродных выбросов при производстве бетона, используемого при строительстве ЦОД, уменьшена на 35 % относительно средней по отрасли, кроме того, на 35 % сокращается потребление стали в целом, а та, что используется, поступает из электродуговых печей, а не газовых, что сокращает косвенные выбросы. Наконец, резервные генераторы AWS переведут на возобновляемое дизельное топливо.

Дополнительно AWS совместно с Orbital Materials запустила пилотный проект по тестированию разработанного с помощью ИИ материала, помогающего захватывать в дата-центрах углекислый газ — речь идёт о «губке на атомном уровне», взаимодействующей только с молекулами углекислоты. Тестирование материала, три года разрабатывавшегося компаниями, начнётся в начале 2025 года. По данным Orbital, новый материал значительно дешевле аналогов. В дальнейшем стартап планирует испытать разработанные с помощью ИИ технологии для экономии воды и охлаждения чипов.

DataCenter Dynamics также отмечает, что AWS впервые раскрыла показатель PUE своих дата-центров. В среднем он составляет 1,15, а самая лучшая площадка достигла 1,04. Для сравнения: у Google эти показатели составляют 1,1 и 1,06 соответственно, у Microsoft — 1,18 и 1,12 (у новых объектов). ЦОД Meta✴ в среднем имеют PUE около 1,08, а Oracle говорит об 1,15.