Американский стартап Cerebras Systems, занимающийся разработкой чипов для систем машинного обучения и других ресурсоёмких задач, объявил о запуске, как утверждается, самой производительной в мире ИИ-платформы для инференса — Cerebras Inference. Ожидается, что она составит серьёзную конкуренцию решениям на основе ускорителей NVIDIA.

В основу облачной системы Cerebras Inference положены ускорители WSE-3. Эти гигантские изделия, выполненные с применением 5-нм техпроцесса TSMC, содержат 4 трлн транзисторов, 900 тыс. ядер и 44 Гбайт SRAM. Суммарная пропускная способность встроенной памяти достигает 21 Пбайт/с, а внутреннего интерконнекта — 214 Пбит/с. Для сравнения: один чип HBM3e в составе NVIDIA H200 может похвастаться пропускной способностью «только» 4,8 Тбайт/с.

Источник изображений: Cerebras

По заявлениям Cerebras, новая инференс-платформа обеспечивает до 20 раз более высокую производительность по сравнению с сопоставимыми по классу решениями на чипах NVIDIA в сервисах гиперскейлеров. В частности, быстродействие составляет до 1800 токенов в секунду на пользователя для ИИ-модели Llama3.1 8B и до 450 токенов в секунду для Llama3.1 70B. Для сравнения, у AWS эти значения равны соответственно 93 и 50. Речь идёт об FP16-операциях. Cerebras заявляет, что лучший результат для кластеров на основе NVIDIA H100 в случае Llama3.1 70B составляет 128 токенов в секунду.

«В отличие от альтернативных подходов, которые жертвуют точностью ради быстродействия, Cerebras предлагает самую высокую производительность, сохраняя при этом точность на уровне 16 бит для всего процесса инференса», — заявляет компания.

При этом услуги Cerebras Inference стоят в несколько раз меньше по сравнению с конкурирующими предложениями: $0,1 за 1 млн токенов для Llama 3.1 8B и $0,6 за 1 млн токенов для Llama 3.1 70B. Оплата взимается по мере использования. Cerebras планирует предоставлять инференс-услуги через API, совместимый с OpenAI. Преимущество такого подхода заключается в том, что разработчикам, которые уже создали приложения на основе GPT-4, Claude, Mistral или других облачных ИИ-моделей, не придётся полностью менять код для переноса нагрузок на платформу Cerebras Inference.

Для крупных предприятий предлагается план обслуживания Enterprise Tier, который предусматривает тонко настроенные модели, индивидуальные условия и специализированную поддержку. Стандартный пакет Developer Tier предполагает подписку по цене от $0,1 за 1 млн токенов. Кроме того, имеется бесплатный доступ начального уровня Free Tier с ограничениями. Cerebras говорит, что запуск платформы откроет качественно новые возможности для внедрения генеративного ИИ в различных сферах.

ГК Softline назвала ряд отечественных облачных сервисов, которые могут стать альтернативой зарубежным платформам, прекратившим обслуживать российских пользователей в условиях сформировавшейся геополитической обстановки. Речь идёт о компаниях Amazon, Microsoft и Google.

Напомним, Amazon и Microsoft начали ограничивать доступ к своим облачным продуктам на территории России с 20 марта 2024 года. Впоследствии Microsoft начала веерные остановки подписок на облачные сервисы для российских корпоративных клиентов. А Google предупредила об отключении облачного сервиса BigQuery в РФ с 9 сентября.

Источник изображения: softline.ru

Softline предлагает пять альтернативных продуктов отечественных разработчиков:

• Р7-Офис. Возможен переход на «Корпоративный сервер 2024» — профессиональные онлайн- и офлайн-инструменты для работы с документами и контентом. Доступны корпоративная и открытая программы лицензирования, бесплатный доступ для средних и дошкольных образовательных учреждений, скидки для других образовательных учреждений и крупных заказчиков.
• «ВКУРСЕ». Это отечественный разработчик защищенной онлайн-платформы для проведения совещаний, видеоконференций, обучения, вебинаров и крупных конференций. Может стать заменой для Microsoft Teams, Zoom, Google Meet. Предоставляются скидки и экспертное обучение для пользователей заказчика.
• «Автограф». Специальное предложение от компании ООО «Графические технологии» («ГрафТех») для клиентов Softline с целью перехода с платформы Microsoft Visio. В частности, «ГрафТех» предоставляет бесплатные лицензии на «Автограф» на период до 90 дней с последующей покупкой.
• Yandex Cloud. В рамках специального предложения при заключение контракта через Softline Yandex Cloud предлагает грант на двукратную сумму от текущего месячного потребления в Microsoft Azure, Google Cloud и AWS (но не более 1 млн руб.). Кроме того, доступно двухмесячное тестирование Yandex Cloud на двукратную сумму от месячного потребления зарубежных услуг.
• VK WorkSpace. Решение предназначено для совместной работы команд. Доступны быстрая миграция и три месяца бесплатного использования облачной версии сервисов VK WorkSpace при переходе с Microsoft и Google и заключении контракта через Softline.

Российский поставщик оборудования и ПО для IT-инфраструктуры и информационной безопасности «Инферит» (входит в группу компаний Softline) сообщил о получении сертификата Федеральной службы по техническому и экспортному контролю на операционную систему «МСВСфера».

Платформа «МСВСфера» построена на базе ядра Linux, зарегистрирована в реестре отечественного программного обеспечения Минцифры и является альтернативой зарубежным ОС уровня Enterprise Linux. Операционная система представлена в редакциях для рабочих станций и серверов и подходит для использования как в государственных, так и в коммерческих организациях. Продукт содержит встроенные инструменты миграции с Red Hat Enterprise Linux, CentOS, AlmaLinux, Rocky Linux, Oracle Enterprise Linux и поддерживается производителем в рамках десятилетнего жизненного цикла, включая выпуск обновлений и исправлений безопасности, что гарантирует стабильность и защищённость IT-инфраструктуры клиента.

Операционная система «МСВСфера» (источник изображения: inferit.ru/products/os)

Выданный ФСТЭК России сертификат подтверждает соответствие «МСВСфера» требованиям по безопасности информации, установленным в документах «Требования по безопасности информации, устанавливающие уровни доверия к средствам технической защиты информации и средствам обеспечения безопасности информационных технологий» (Требования доверия) — по 4 уровню доверия, «Требования безопасности информации к операционным системам» и «Профиль защиты операционных систем типа А четвёртого класса защиты. ИТ.ОС.А4.ПЗ».

«МСВСфера» может использоваться при построении государственных информационных систем (ГИС) до I класса защищённости включительно, информационных систем для обработки персональных данных (ИСПДн) до I уровня защищённости включительно, автоматизированных систем управления производственными и технологическими процессами (АСУ ТП) до I класса защищённости включительно, информационных систем общего пользования (ИСОП) до II класса защищённости и объектов критических информационных инфраструктур (КИИ) до I категории значимости.

Вместе с процессорами Telum II для систем z17 компания IBM представила и собственные ускорители Spyre, ещё больше расширяющие возможности будущих мейнфреймов в области обработки ИИ-нагрузок. Они станут дополнением к встроенным в Telum ИИ-блокам.

Источник изображений: IBM

Spyre представляет собой плату расширения с интерфейсом PCIe 5.0 x16 и теплопакетом 75 Вт. Помимо самого нейропроцессора IBM на ней установлено 128 Гбайт памяти LPDDR5, а производительность в ИИ-задачах оценивается производителем в более чем 300 Топс, т.е. новинки подходят для инференса крупных моделей. Сам чип приозводится с использованием 5-нм техпроцесса Samsung 5LPE и содержит 26 млрд транзисторов, а площадь его кристалла составляет 330 мм².

Spyre включает 32 ядра, каждое из которых дополнено 2 Мбайт быстрой скрэтч-памяти. Отдельно отмечено, что последняя не является кешем. При этом заявлена эффективность использования доступных вычислительных ресурсов — свыше 55 % на ядро. Каждое ядро содержит 78 матричных блоков и раздельные FP16-аккумуляторы, по восемь на «вход» и «выход». Интересно, что ядра Spyre и скрэтч-память используют отдельные кольцевые двунаправленные шины разной разрядности (32 и 128 бит соответственно), причём с оперативной памятью на скорости 200 Гбайт/с соединена именно вторая.

Каждый узел (drawer) на базе Telum II способен вместить восемь плат Spyre, которые формируют логический кластер, располагающий 1 Тбайт памяти с совокупной ПСП 1,6 Тбайт/с, но, разумеется, каждая плата будет ограничена 128 Гбайт/с из-за интерфейса PCIe 5.0 x16. Spyre создан с упором на предиктивный и генеративный ИИ, благо в полной комплектации новые мейнфреймы могут нести 96 таких ускорителей и развивать до 30 ПОпс (Петаопс).

Новинки рассчитаны на работу в средах zCX или Linux on Z, сопровождаются оптимизированным набором библиотек и совместимы с популярными фреймворками Pytoch, TensorFlow и ONNX. Они станут частью программных платформ IBM watsonx и Red Hat OpenShift. Новые мейнфреймы IBM z17 должны дебютировать на рынке в 2025 году. А в собственном облаке IBM будет также полагаться и на Intel Gaudi 3.

Компания «ИнфоТеКС» объявила о завершении испытаний высокопроизводительного межсетевого экрана следующего поколения (NGFW) ViPNet xFirewall, предназначенного для использования в дата-центрах. Решение предназначено для обработки больших объёмов трафика.

Представленное устройство может обеспечивать защиту каналов связи с пропускной способностью до 200 Гбит/с. Кроме того, создан и протестирован кластер из двух программно-аппаратных комплексов ViPNet xFirewall и брокеров сетевых пакетов. Нагрузочные и функциональные тесты показали корректность и высокую стабильность работы решения при максимально допустимой нагрузке на каналах связи с пропускной способностью до 400 Гбит/с.

Отмечается, что тестирование осуществлялось по методике, разработанной в соответствии с государственными нормами и учитывающей международные практики. «ИнфоТеКС» уже работает над продуктом, обеспечивающим производительность до 1 Тбит/с.

Источник изображения: «ИнфоТеКС»

В ассортименте компании представлены устройства серии ViPNet xFirewall 5 (на изображении) — NGFW, сочетающие функции обычного межсетевого экрана (анализ состояния сессии, проксирование, трансляция адресов) с расширенными возможностями обработки и фильтрации трафика (глубокая инспекция протоколов, выявление и предотвращение компьютерных атак, инспекция SSL/TLS-трафика, взаимодействие с антивирусными решениями, DLP и песочницами).

Брандмауэры ViPNet xFirewall 5 устанавливаются на границе сети. Они обеспечивают комплексное решение задач информационной безопасности. Это, в частности, создание гранулированной политики безопасности на основе учётных записей пользователей и списка приложений, обнаружение и нейтрализация сетевых вторжений. Механизм DPI использует различные техники идентификации трафика приложений: на основе портов и протоколов, сигнатурный и эвристический методы. Это даёт возможность выявлять даже те приложения, трафик которых шифруется или маскируется.

В семейство ViPNet xFirewall 5 входят модификации с разным уровнем производительности. Наиболее мощная на текущий момент версия, представленная на сайте — это 1U-модель xF5000 Q2, которая поддерживает до 9,9 млн одновременно обслуживаемых соединений и до 85 тыс. соединений в секунду. Пропускная способность NGFW достигает 1531 Мбит/с (EMIX, тип фильтрации не уточняется), инспекции SSL — 8400 Мбит/с. Есть четыре порта RJ45 1GbE и восемь портов SFP+10GbE.

Министерство образования, культуры, спорта, науки и технологий Японии (MEXT) объявило о планах по созданию преемника суперкомпьютера Fugaku, который в своё время возглавлял мировой рейтинг ТОР500. Ожидается, что новая система, рассчитанная на ИИ-задачи, будет демонстрировать FP8-производительность зеттафлопсного уровня (1000 Эфлопс). В нынешнем списке TOP500 Fugaku занимает четвёртое место с FP64-быстродействием приблизительно 442 Пфлопс.

Реализацией проекта Fugaku Next займутся японский Институт физико-химических исследований (RIKEN) и корпорация Fujitsu. Создание системы начнётся в 2025 году, а завершить её разработку планируется к 2030-му. На строительство комплекса MEXT выделит ¥4,2 млрд ($29,06 млн) в первый год, тогда как общий объём государственного финансирования, как ожидается, превысит ¥110 млрд ($761 млн).

MEXT не прописывает какой-либо конкретной архитектуры для суперкомпьютера Fugaku Next, но в документации ведомства говорится, что комплекс может использовать CPU со специализированными ускорителями или комбинацию CPU и GPU. Кроме того, требуется наличие передовой подсистемы хранения, способной обрабатывать как традиционные рабочие нагрузки ввода-вывода, так и ресурсоёмкие нагрузки ИИ.

Источник изображения: Fujitsu

Предполагается, что каждый узел Fugaku Next обеспечит пиковую производительность в «несколько сотен Тфлопс» для вычислений с двойной точностью (FP64), около 50 Пфлопс для вычислений FP16 и примерно 100 Пфлопс для вычислений FP8. Для сравнения, узлы системы Fugaku демонстрирует быстродействие FP64 на уровне 3,4 Тфлопс и показатель FP16 около 13,5 Тфлопс. Для Fugaku Next предусмотрено применение памяти HBM с пропускной способностью в несколько сотен Тбайт/с против 1,0 Тбайт/с у Fugaku.

По всей видимости, в состав Fugaku Next войдут серверные процессоры Fujitsu следующего поколения, которые появятся после изделий MONAKA. Последние получат чиплетную компоновку с кристаллами SRAM и IO-блоками ввода-вывода, обеспечивающими поддержку DDR5, PCIe 6.0 и CXL 3.0. Говорится об использовании 2-нм техпроцесса.

«Группа Астра» представила облачную платформу Astra Cloud, предназначенную для корпоративного сегмента, в частности, для госкомпаний, которым важны масштабируемость, производительность и безопасность софта. Сервис основан на собственных продуктах «Группы Астра», которые теперь доступны в двух форматах: on-premise и собственного облака на базе ОС Astra Linux. Astra Cloud позволит завершить процесс импортозамещения, поскольку её продукты можно использовать вместо ПО ушедших зарубежных вендоров.

На данном этапе клиенты получают СУБД и одноименную платформу баз данных Tantor, ОС Astra Linux в серверном исполнении, платформу для разработки ПО GitFlic, инструмент резервного копирования RuBackup, корпоративный почтовый сервер RuPost, службу каталогов ALD Pro и решение для создания инфраструктуры виртуальных рабочих мест Termidesk. В дальнейшем на платформе Astra Cloud появится весь портфель решений «Группы Астра».

Источник изображения: «Группа Астра»

Платформа Astra Cloud отличается гибкой архитектурой, поддержкой многоуровневой системы безопасности, возможностью интеграции с существующими решениями через службу каталогов, говорит разработчик. Решение выполнено с соблюдением актуальных норм и стандартов в области защиты данных, что крайне важно для госучреждений и крупных корпораций. Все размещённые на платформе продукты включены в реестр Минцифры.

С помощью Astra Cloud можно провести цифровую трансформацию без дополнительных затрат на оборудование и обучение персонала, реализовывать ресурсоёмкие проекты, а также минимизировать риск потери данных, если пользоваться Astra Cloud как резервной площадкой по схеме «3-2-1»: две копии данных хранятся локально, одна — в облачной среде.

Источник изображения: «Группа Астра»

Облако Astra Cloud размещено в московских ЦОД DataPro и AtomData уровня TIER III/IV и обеспечено встроенной защитой от DDoS-атак (L7). Управление заказами на платформе осуществляется в личном кабинете, интегрируемом со службой каталогов клиента, что упрощает работу ИТ-специалистов. Сервисы Astra Cloud можно приобрести только у партнёров «Группы Астра». Также пользователям Astra Cloud предоставляются услуги сопровождения напрямую от экспертов разработчика с возможностью решать вопросы, связанные с ПО и облачной инфраструктурой.

Илон Маск (Elon Musk) продолжает наращивать вычислительные мощности своих компаний. Как сообщает Tom’s Hardware, он поделился сведениями об ИИ-суперкластере Cortex. По данным Tom's Hardware, недавнее дополнение завода Giga Texas компании Tesla будет состоять из 70 тыс. ИИ-серверов, а также потребует 130 МВт энергии на обеспечение вычислений и охлаждения на момент запуска, к 2026 году мощность вырастет до 500 МВт.

На опубликованном в социальной сети X видео Илона Маска показан машинный зал: по 16 IT-стоек в ряд, по два ряда на коридор. Каждая стойка вмещает восемь ИИ-серверов, а в середине каждого ряда видны стойки без таковых. В видео можно разглядеть порядка 16–20 рядов, поэтому довольно грубый подсчёт позволяет предположить наличие около 2 тыс. серверов с ускорителями, т.е. менее 3 % от запланированной ёмкости.

В ходе июльского финансового отчёта Tesla Илон Маск рассказал, что Cortex будет крупнейшим обучающим кластером Tesla на сегодняшний день и будет состоять из 50 тыс. ускорителей NVIDIA H100 и 20 тыс. ускорителей Tesla D1 собственной разработки. Это меньше, чем Маск прогнозировал раньше, в июне он сообщал, что Cortex будет включать 50 тыс. D1. Правда, сообщалось, что на момент запуска будут применяться только решения NVIDIA, а разработки Tesla появятся позже.

Источник изображения: Alexander Shatov/unsplash.com

Кластер Cortex предназначен в первую очередь для обучения автопилота Full Self Driving (FSD), сервиса Cybertaxi и роботов Optimus, ограниченное производство которых должно начаться в 2025 году для использования на заводах компании. Также Маск анонсировал планы потратить $500 млн на суперкомпьютер Dojo в Буффало (штат Нью-Йорк), также принадлежащий Tesla. Первым же в «коллекции» Маска заработал Memphis Supercluster, принадлежащий xAI и оснащённый 100 тыс. NVIDIA H100. Со временем эта система получит 300 тыс. ускорителей NVIDIA B200, но задержки с их производством заставили отложить реализацию проекта на несколько месяцев.

Компания К2Тех объявила о формировании нового бизнес-подразделения — «К2 НейроТех», специализацией которого являются проектирование, поддержка и масштабирование суперкомпьютерных кластеров. Созданное предприятие предлагает комплексные услуги по развёртыванию суперкомпьютеров «под ключ». Кроме того, «К2 НейроТех» представила два программно-аппаратных комплекса — ПАК-HPC и ПАК-ML.

Отмечается, что в штат «К2 НейроТех» вошли высококвалифицированные инженеры, разработчики и системные архитекторы. Специалисты имеют опыт проектирования и построения суперкомпьютерных систем для добывающей промышленности и машиностроительной отрасли, а также для научных и образовательных организаций. В частности, команда участвовала в создании суперкомпьютера «Оракул» на базе Новосибирского государственного университета (НГУ), который победил в конкурсе «Проект года».

ПАК-HPC и ПАК-ML построены на основе российских аппаратных и программных решений из реестров Минцифры и Минпромторга. Благодаря этому, как утверждается, снижаются риски, связанные с зависимостью от зарубежных поставок, и появляются возможности для стабильной техподдержки решений и дальнейшего их масштабирования по запросу. ПАК-HPC предназначен для ускорения научных исследований и разработки в таких отраслях, как фармацевтика, добывающая промышленность и машиностроение. В свою очередь, ПАК-ML ориентирован на работу с ресурсоёмкими приложениями ИИ и машинного обучения.

Источник изображения: К2Тех

Конфигурация обоих комплексов включает 18 серверов на стойку. Задействовано высокоскоростное соединение NVLink/Infinity Fabric. Объём оперативной памяти варьируется от 128 до 512 Гбайт на сервер. Для хранения данных применяются SSD вместимостью 1 Тбайт и более. Версия ПАК-HPC обеспечивает пиковую производительность до 7,6 Тфлопс (FP64) на один сервер. Вариант ПАК-ML, который, судя по всему, несёт восемь ускорителей NVIDIA H100, обладает пиковым быстродействием 536 Тфлопс (FP64 Tensor Core) на сервер. Преимуществами ПАК названы: высокая производительность, гибкая конфигурация, масштабируемость, единый графический интерфейс, безопасность, надёжность и импортонезависимость.

«Создание бренда "К2 НейроТех" — это логичный ответ на запросы рынка по расширению вычислительных мощностей, необходимых для внедрения ИИ и ускорения проводимых исследований в условиях импортозамещения. Мало у кого сейчас есть практический опыт по созданию систем на базе отечественного оборудования с учётом оптимизации производительности. Именно поэтому мы решили вложить наши компетенции и опыт в создание комплексного предложения по построению суперкомпьютерных кластеров и разработку двух ПАК для задач HPC и ML под единым брендом», — отмечает директор по продвижению решений «К2 НейроТех».

Проект OpenTofu, развивающий открытый форк платформы управления внешними ресурсами и автоматизации инфраструктуры Terraform и действующий под патронажем Linux Foundation, пошёл на неожиданный шаг. По данным OpenNET, заблокирован доступ к его репозиторию с российских IP-адресов. Параллельно из базы исключены плагины для взаимодействия с облачными сервисами и управления их ресурсами для отечественных провайдеров Cloud.ru, Yandex Cloud и Rustack Cloud Platform.

Речь идёт о репозитории OpenTofu — registry.opentofu.org. Решение о блокировке принято единогласно, голосами пяти членов управляющего совета проекта. Утверждается, что на такие меры пришлось пойти, поскольку структура находится в юрисдикции США и обязана соблюдать американские санкции — иначе могли возникнуть проблемы у компании, ответственной за хостинг репозитория.

Источник изображения: LARAM/unsplash.com

Причиной удаления плагинов названы новые правила проекта. По данным СМИ, новые правила на запрос журналистов так и не показали, сославшись на решение заблокировать доступ с российских IP — какое отношение это имеет к удалению поддержки провайдеров, вразумительного ответа не поступило. Один из запросов на отмену удаления плагинов уже достоверно отклонён, о судьбе последующих пока неизвестно.

По имеющимся данным, законы Соединённых Штатов, регулирующие экспорт, в числе прочего блокируют законную возможность предоставлять для находящимся в санкционных списках компаниям коммерческие услуги, либо сервисы, которые можно использовать в коммерческих целях.

Ранее считалось, что однозначной трактовки американских законов нет. Так, проведённый в своё время Apache Software Foundation, Linux Foundation и GitHub юридический анализ показал, что экспортные ограничения не могут распространяться на открытое программное обеспечение, как и на публичные репозитории, пишет OpenNET.