«Группа Астра» представила облачную платформу Astra Cloud, предназначенную для корпоративного сегмента, в частности, для госкомпаний, которым важны масштабируемость, производительность и безопасность софта. Сервис основан на собственных продуктах «Группы Астра», которые теперь доступны в двух форматах: on-premise и собственного облака на базе ОС Astra Linux. Astra Cloud позволит завершить процесс импортозамещения, поскольку её продукты можно использовать вместо ПО ушедших зарубежных вендоров.

На данном этапе клиенты получают СУБД и одноименную платформу баз данных Tantor, ОС Astra Linux в серверном исполнении, платформу для разработки ПО GitFlic, инструмент резервного копирования RuBackup, корпоративный почтовый сервер RuPost, службу каталогов ALD Pro и решение для создания инфраструктуры виртуальных рабочих мест Termidesk. В дальнейшем на платформе Astra Cloud появится весь портфель решений «Группы Астра».

Источник изображения: «Группа Астра»

Платформа Astra Cloud отличается гибкой архитектурой, поддержкой многоуровневой системы безопасности, возможностью интеграции с существующими решениями через службу каталогов, говорит разработчик. Решение выполнено с соблюдением актуальных норм и стандартов в области защиты данных, что крайне важно для госучреждений и крупных корпораций. Все размещённые на платформе продукты включены в реестр Минцифры.

С помощью Astra Cloud можно провести цифровую трансформацию без дополнительных затрат на оборудование и обучение персонала, реализовывать ресурсоёмкие проекты, а также минимизировать риск потери данных, если пользоваться Astra Cloud как резервной площадкой по схеме «3-2-1»: две копии данных хранятся локально, одна — в облачной среде.

Источник изображения: «Группа Астра»

Облако Astra Cloud размещено в московских ЦОД DataPro и AtomData уровня TIER III/IV и обеспечено встроенной защитой от DDoS-атак (L7). Управление заказами на платформе осуществляется в личном кабинете, интегрируемом со службой каталогов клиента, что упрощает работу ИТ-специалистов. Сервисы Astra Cloud можно приобрести только у партнёров «Группы Астра». Также пользователям Astra Cloud предоставляются услуги сопровождения напрямую от экспертов разработчика с возможностью решать вопросы, связанные с ПО и облачной инфраструктурой.

Илон Маск (Elon Musk) продолжает наращивать вычислительные мощности своих компаний. Как сообщает Tom’s Hardware, он поделился сведениями об ИИ-суперкластере Cortex. По данным Tom's Hardware, недавнее дополнение завода Giga Texas компании Tesla будет состоять из 70 тыс. ИИ-серверов, а также потребует 130 МВт энергии на обеспечение вычислений и охлаждения на момент запуска, к 2026 году мощность вырастет до 500 МВт.

На опубликованном в социальной сети X видео Илона Маска показан машинный зал: по 16 IT-стоек в ряд, по два ряда на коридор. Каждая стойка вмещает восемь ИИ-серверов, а в середине каждого ряда видны стойки без таковых. В видео можно разглядеть порядка 16–20 рядов, поэтому довольно грубый подсчёт позволяет предположить наличие около 2 тыс. серверов с ускорителями, т.е. менее 3 % от запланированной ёмкости.

В ходе июльского финансового отчёта Tesla Илон Маск рассказал, что Cortex будет крупнейшим обучающим кластером Tesla на сегодняшний день и будет состоять из 50 тыс. ускорителей NVIDIA H100 и 20 тыс. ускорителей Tesla D1 собственной разработки. Это меньше, чем Маск прогнозировал раньше, в июне он сообщал, что Cortex будет включать 50 тыс. D1. Правда, сообщалось, что на момент запуска будут применяться только решения NVIDIA, а разработки Tesla появятся позже.

Источник изображения: Alexander Shatov/unsplash.com

Кластер Cortex предназначен в первую очередь для обучения автопилота Full Self Driving (FSD), сервиса Cybertaxi и роботов Optimus, ограниченное производство которых должно начаться в 2025 году для использования на заводах компании. Также Маск анонсировал планы потратить $500 млн на суперкомпьютер Dojo в Буффало (штат Нью-Йорк), также принадлежащий Tesla. Первым же в «коллекции» Маска заработал Memphis Supercluster, принадлежащий xAI и оснащённый 100 тыс. NVIDIA H100. Со временем эта система получит 300 тыс. ускорителей NVIDIA B200, но задержки с их производством заставили отложить реализацию проекта на несколько месяцев.

Компания К2Тех объявила о формировании нового бизнес-подразделения — «К2 НейроТех», специализацией которого являются проектирование, поддержка и масштабирование суперкомпьютерных кластеров. Созданное предприятие предлагает комплексные услуги по развёртыванию суперкомпьютеров «под ключ». Кроме того, «К2 НейроТех» представила два программно-аппаратных комплекса — ПАК-HPC и ПАК-ML.

Отмечается, что в штат «К2 НейроТех» вошли высококвалифицированные инженеры, разработчики и системные архитекторы. Специалисты имеют опыт проектирования и построения суперкомпьютерных систем для добывающей промышленности и машиностроительной отрасли, а также для научных и образовательных организаций. В частности, команда участвовала в создании суперкомпьютера «Оракул» на базе Новосибирского государственного университета (НГУ), который победил в конкурсе «Проект года».

ПАК-HPC и ПАК-ML построены на основе российских аппаратных и программных решений из реестров Минцифры и Минпромторга. Благодаря этому, как утверждается, снижаются риски, связанные с зависимостью от зарубежных поставок, и появляются возможности для стабильной техподдержки решений и дальнейшего их масштабирования по запросу. ПАК-HPC предназначен для ускорения научных исследований и разработки в таких отраслях, как фармацевтика, добывающая промышленность и машиностроение. В свою очередь, ПАК-ML ориентирован на работу с ресурсоёмкими приложениями ИИ и машинного обучения.

Источник изображения: К2Тех

Конфигурация обоих комплексов включает 18 серверов на стойку. Задействовано высокоскоростное соединение NVLink/Infinity Fabric. Объём оперативной памяти варьируется от 128 до 512 Гбайт на сервер. Для хранения данных применяются SSD вместимостью 1 Тбайт и более. Версия ПАК-HPC обеспечивает пиковую производительность до 7,6 Тфлопс (FP64) на один сервер. Вариант ПАК-ML, который, судя по всему, несёт восемь ускорителей NVIDIA H100, обладает пиковым быстродействием 536 Тфлопс (FP64 Tensor Core) на сервер. Преимуществами ПАК названы: высокая производительность, гибкая конфигурация, масштабируемость, единый графический интерфейс, безопасность, надёжность и импортонезависимость.

«Создание бренда "К2 НейроТех" — это логичный ответ на запросы рынка по расширению вычислительных мощностей, необходимых для внедрения ИИ и ускорения проводимых исследований в условиях импортозамещения. Мало у кого сейчас есть практический опыт по созданию систем на базе отечественного оборудования с учётом оптимизации производительности. Именно поэтому мы решили вложить наши компетенции и опыт в создание комплексного предложения по построению суперкомпьютерных кластеров и разработку двух ПАК для задач HPC и ML под единым брендом», — отмечает директор по продвижению решений «К2 НейроТех».

Проект OpenTofu, развивающий открытый форк платформы управления внешними ресурсами и автоматизации инфраструктуры Terraform и действующий под патронажем Linux Foundation, пошёл на неожиданный шаг. По данным OpenNET, заблокирован доступ к его репозиторию с российских IP-адресов. Параллельно из базы исключены плагины для взаимодействия с облачными сервисами и управления их ресурсами для отечественных провайдеров Cloud.ru, Yandex Cloud и Rustack Cloud Platform.

Речь идёт о репозитории OpenTofu — registry.opentofu.org. Решение о блокировке принято единогласно, голосами пяти членов управляющего совета проекта. Утверждается, что на такие меры пришлось пойти, поскольку структура находится в юрисдикции США и обязана соблюдать американские санкции — иначе могли возникнуть проблемы у компании, ответственной за хостинг репозитория.

Источник изображения: LARAM/unsplash.com

Причиной удаления плагинов названы новые правила проекта. По данным СМИ, новые правила на запрос журналистов так и не показали, сославшись на решение заблокировать доступ с российских IP — какое отношение это имеет к удалению поддержки провайдеров, вразумительного ответа не поступило. Один из запросов на отмену удаления плагинов уже достоверно отклонён, о судьбе последующих пока неизвестно.

По имеющимся данным, законы Соединённых Штатов, регулирующие экспорт, в числе прочего блокируют законную возможность предоставлять для находящимся в санкционных списках компаниям коммерческие услуги, либо сервисы, которые можно использовать в коммерческих целях.

Ранее считалось, что однозначной трактовки американских законов нет. Так, проведённый в своё время Apache Software Foundation, Linux Foundation и GitHub юридический анализ показал, что экспортные ограничения не могут распространяться на открытое программное обеспечение, как и на публичные репозитории, пишет OpenNET.

Компания MTS Web Services (MWS), дочернее предприятие МТС, объявила о наращивании мощностей, предназначенных для обработки ресурсоёмких ИИ-нагрузок. В дата-центрах «Федоровский» в Санкт-Петербурге и GreenBushDC в Москве развёрнуты новые кластеры виртуальной инфраструктуры на базе GPU.

Отмечается, что всё больше российских компаний переносят работу с ИИ в облако. Это связано с тем, что для обучения больших языковых моделей (LLM) и обеспечения их работоспособности требуются огромные вычислительные ресурсы и привлечение дорогостоящих специалистов. На фоне высокого спроса MWS расширяет свою инфраструктуру.

Утверждается, что благодаря запуску двух новых сегментов GPU-мощности MWS поднялись на 40 %. При этом компания не уточняет, какие именно ускорители задействованы в составе этих кластеров. До конца 2024 года MWS рассчитывает увеличить свои GPU-ресурсы ещё в 3–4 раза. Подчёркивается, что вычислительная инфраструктура подходит для работы с любыми ИИ-моделями во всех отраслях экономики. Доступ к мощностям можно получить из любой точки России.

Источник изображения: pixabay.com

В дальнейшие планы MWS входят создание платформы для разработки, обучения и развёртывания моделей машинного обучения, внедрение уже готовых моделей ИИ для разных индустрий и направлений с доступом посредством API, а также предоставление ИИ-сервисов по модели SaaS. «Мы стремимся, чтобы как можно больше компаний вне зависимости от их величины получили возможность обучать и внедрять в бизнес свои ИИ-модели», — говорит директор по новым облачным продуктам МТС Web Services.

NVIDIA сообщила, что её платформы показали самые высокие результаты во всех тестах производительности уровня ЦОД в бенчмарке MLPerf Inference v4.1, где впервые дебютировал ускоритель семейства Blackwell.

Ускоритель NVIDIA B200 (SXM, 180 Гбайт HBM) оказался вчетверо производительнее H100 на крупнейшей рабочей нагрузке среди больших языковых моделей (LLM) MLPerf — Llama 2 70B — благодаря использованию механизма Transformer Engine второго поколения и FP4-инференсу на Tensor-ядрах. Впрочем, именно B200 заказчики могут и не дождаться.

Ускоритель NVIDIA H200, который стал доступен в облаке CoreWeave, а также в системах ASUS, Dell, HPE, QTC и Supermicro, показал лучшие результаты во всех тестах в категории ЦОД, включая последнее дополнение к бенчмарку, LLM Mixtral 8x7B с общим количеством параметров 46,7 млрд и 12,9 млрд активных параметров на токен, использующую архитектуру Mixture of Experts (MoE, набор экспертов).

Источник изображения: NVIDIA

Как отметила NVIDIA, MoE приобрела популярность как способ привнести большую универсальность в LLM, поскольку позволяет отвечать на широкий спектр вопросов и выполнять более разнообразные задачи в рамках одного развёртывания. Архитектура также более эффективна, поскольку активируются только несколько экспертов на инференс — это означает, что такие модели выдают результаты намного быстрее, чем высокоплотные (Dense) модели аналогичного размера.

Также NVIDIA отмечает, что с ростом размера моделей для снижения времени отклика при инференсе объединение нескольких ускорителей становится обязательными. По словам компании, NVLink и NVSwitch уже в поколении NVIDIA Hopper предоставляют значительные преимущества для экономичного инференса LLM в реальном времени. А платформа Blackwell ещё больше расширит возможности NVLink, позволив объединить до 72 ускорителей.

Источник изображения: NVIDIA

Заодно компания в очередной раз напомнила о важности программной экосистемы. Так, в последнем раунде MLPerf Inference все основные платформы NVIDIA продемонстрировали резкий рост производительности. Например, ускорители NVIDIA H200 показали на 27 % большую производительность инференса генеративного ИИ по сравнению с предыдущим раундом. А Triton Inference Server продемонстрировал почти такую же производительность, как и у bare-metal платформ.

Наконец, благодаря программным оптимизациям в этом раунде MLPerf платформа NVIDIA Jetson AGX Orin достигла более чем 6,2-кратного улучшения пропускной способности и 2,5-кратного улучшения задержки по сравнению с предыдущим раундом на рабочей нагрузке GPT-J LLM. По словам NVIDIA, Jetson способен локально обрабатывать любую модель-трансформер, включая LLM, модели класса Vision Transformer и, например, Stable Diffusion. А вместо разработки узкоспециализированных моделей теперь можно применять универсальную GPT-J-6B модель для обработки естественного языка на периферии.

НКО Campaign group the Southern Environmental Law Center (SELC) призывает власти расследовать деятельность компании xAI Илона Маска (Elon Musk). По данным Datacenter Dynamics, активисты обвиняют ИИ-стартап в том, что используемые на территории его дата-центра генераторы усугубляют ситуацию с загрязнением воздуха в регионе.

Представители SELC обратились в департамент здравоохранения округа Шелби (Shelby) штата Теннесси США, утверждая, что на площадке xAI в южной части Мемфиса применяется 18 генераторов, на использование которых необходимо получить разрешение властей.

ЦОД xAI расположен на месте бывшего завода Electrolux площадью 69 677 м², который закрылся в 2022 году. Илон Маск ранее заявлял, что со временем дата-центр будет использовать до 100 тыс. ускорителей NVIDIA H100 (часть которых забрали у Tesla) для обучения и обеспечения работы языковой модели Grok. Второй кластер из 300 тыс. ускорителей B200 планируется ввести в эксплуатацию в следующем году.

Источник изображения: Gabriel Tovar/unspalsh.com

Для этого потребуется много энергии. В xAI пообещали вложить $24 млн в строительство подстанции, которая обеспечит ЦОД до 150 МВт (если одобрит оператор энергосети штата), но пока центр имеет доступ только к 7 МВт. Для решения проблемы подготовлены 14 генераторов Voltagrid на природном газе, каждый из которых способен обеспечить до 2,5 МВт. В письме SELC говорится, что компания Solar Turbines также установила на территории четыре турбины SMT-130 мощностью по 16 МВт.

Предполагается, что это только усугубит проблему низкого качества воздуха в округе Шелби. Уровень приземного озона в регионе уже превышал допустимые нормы в последние три года, и вероятно, то же самое произойдёт и в 2024 году. Загрязнение озоном обостряет заболевания лёгких, такие как эмфизема и хронический бронхит, и увеличивает частоту приступов астмы. Между тем, генераторы xAI, предположительно, выбрасывают около 130 тонн прекурсоров O₃ — оксидов азота (NO_x) — ежегодно, что делает их девятым по масштабу источником таких оксидов в округе.

Источник изображения: Voltagrid

SELC, выступающая от имени нескольких жилых сообществ Мемфиса, добавила, что минимальным требованием является получение разрешений для четырёх 16-МВт турбин до их установки и ввода в эксплуатацию — даже если они временные. Также необходимо потребовать получение разрешений на малые генераторы. Департамент здравоохранения округа призвали отреагировать на эксплуатацию генераторов без разрешений и принять предусмотренные законом меры за их использование без соответствующих разрешений.

SELC уже не первый год борется со строительством дата-центра xAI. В июле группа предупредила о «вредоносных последствиях» для местных жителей из-за роста нагрузки на энергосети Мемфиса. Утверждается, что объект требует «непостижимые» 150 МВт уже к концу 2024 года — столько энергии достаточно для питания 100 тыс. домохозяйств. Это может сказаться на здоровье и даже жизнях местных жителей, поскольку во время пиковых нагрузок люди могут остаться без отопления или кондиционеров. Компания Маска также вызвала недовольство местных властей, которые заявили, что узнали о планах строительства дата-центра из средств массовой информации.

В огромной лаборатории в штаб-квартире Google в Маунтин-Вью (Калифорния, США) установлены сотни серверных стоек с ИИ-ускорителями TPU (Tensor Processing Unit) собственной разработки, с помощью которых производится обучение больших языковых моделей, пишет ресурс CNBC, корреспонденту которого компания устроила небольшую экскурсию.

Первое поколение Google TPU, созданное ещё в 2015 году, и представляет собой ASIC для обработки ИИ-нагрузок. Сейчас компания использует такие, хотя и более современные ускорители для обучения и работы собственного чат-бота Gemini. С 2018 года TPU Google доступны облачным клиентам компании. В июле этого года Apple объявила, что использует их для обучения моделей ИИ, лежащих в основе платформы Apple Intelligence.

TPU v1 (Источник изображений здесь и далее: Google)

«В мире есть фундаментальное убеждение, что весь ИИ, большие языковые модели, обучаются на (чипах) NVIDIA, и, конечно, на решения NVIDIA приходится львиная доля объёма обучения. Но Google пошла по собственному пути», — отметил гендиректор Futurum Group Дэниел Ньюман (Daniel Newman). Благодаря расширению использованию ИИ подразделение Google Cloud увеличило доход, и в последнем квартальном отчёте холдинг Alphabet сообщил, что выручка от облачных вычислений выросла на 29 %, впервые превысив $10 млрд за квартал.

Google была первым провайдером облачных вычислений, создавшим кастомные ИИ-чипы. Лишь спустя три года Amazon Web Services анонсировала свой первый ИИ-ускоритель Inferentia, Microsoft представила ИИ-ускоритель Azure Maia 100 в ноябре 2023 года, а в мае того же года Meta✴ рассказала об семействе MTIA. Однако лидирует на рынке генеративного ИИ компания OpenAI, обученная на ускорителях NVIDIA, тогда как нейросеть Gemini была представлена Google спустя год после презентации ChatGPT.

В Google рассказали, что впервые задумались о создании собственного чипа в 2014 году, когда в руководстве решили обсудить, насколько большими вычислительными возможностями нужно обладать, чтобы дать возможность всем пользователям поговорить с поиском Google в течение хотя бы 30 с каждый день. По оценкам, для этого потребовалось бы удвоить количество серверов в дата-центрах. «Мы поняли, что можем создать специальное аппаратное обеспечение, <…> в данном случае тензорные процессоры, для обслуживания [этой задачи] гораздо, гораздо более эффективно. Фактически в 100 раз эффективнее, чем было бы в противном случае», — отметил представитель Google.

С выходом второго поколения TPU в 2018 году Google расширила круг выполняемых чипом задач, добавив к инференсу обучение ИИ-моделей. Процесс создания ИИ-ускорителя не только отличается высокой сложностью, но и требует больших затрат. Так что реализация таких проектов в одиночку не по силам даже крупным гиперскейлерам. Поэтому с момента создания первого TPU Google сотрудничает с разработчиком чипов Broadcom, который также помогает её конкуренту Meta✴ в создании собственных ASIC. Broadcom утверждает, что потратила более $3 млрд в рамках реализации совместных проектов.

В рамках сотрудничества Google отвечает за собственно вычислительные блоки, а Broadcom занимается разработкой I/O-блоков, SerDes и иных вспомогательных компонентов, а также упаковкой. Самы чипы выпускаются на TSMC. С 2018 года в Google трудятся ещё одни кастомные чипы — Video Coding Unit (VCU) Argos, предназначенной для обработки видео.

Что касается TPU, то в этом году клиентам Google будет доступно шестое поколение TPU Trillium. Более того, им станут доступны и первые Arm-процессоры Axion собственной разработки. Google выходит на этот рынок с большим отставанием от конкурентов. Amazon выпустила первый собственный процессор Graviton в 2018 году, Alibaba Yitian 710 появились в 2021 году, а Microsoft анонсировала Azure Cobalt 100 в ноябре. Все эти чипы основаны на архитектуре Arm — более гибкой и энергоэффективной альтернативе x86.

Энергоэффективность имеет решающее значение. Согласно последнему экологический отчёту Google, с 2019 по 2023 год выбросы компании выросли почти на 50 %, отчасти из-за увеличения количества ЦОД для ИИ-нагрузок. Для охлаждения ИИ-серверов требуется огромное количество воды. Именно поэтому начиная с третьего поколения TPU компания использует прямое жидкостное охлаждение, которое только теперь становится практически обязательным для современных ИИ-ускорителей вроде NVIDIA Blackwell.

NVIDIA анонсировала NIM Agent Blueprints, каталог предварительно обученных, настраиваемых программных решений, предоставляющий разработчикам набор инструментов для создания и развёртывания приложений генеративного ИИ для типовых вариантов использования, таких как аватары для обслуживания клиентов, RAG, виртуальный скрининг для разработки лекарственных препаратов и т.д.

Предлагая бесплатные шаблоны для частых бизнес-задач, компания помогает разработчикам ускорить создание и вывод на рынок ИИ-приложений. NIM Agent Blueprints включает примеры приложений, созданных с помощью NVIDIA NeMo, NVIDIA NIM и микросервисов партнёров, примеры кода, документацию по настройке и Helm Chart'ы для быстрого развёртывания. Предприятия могут модифицировать NIM Agent Blueprints, используя свои бизнес-данные, и запускать приложения генеративного ИИ в ЦОД и облаках (в том числе в рамках NVIDIA AI Enterprise), постоянно совершенствуя их благодаря обратной связи.

На текущий момент NIM Agent Blueprints предлагают готовые рабочие процессы (workflow) для систем обслуживания клиентов, для скрининга с целью автоматизированного поиска необходимых соединений при разработке лекарств и для мультимодального извлечения данных из PDF для RAG, что позволит обрабатывать огромные объёмы бизнес-данных для получения более точных ответов, благодаря чему ИИ-агенты чат-боты службы станут экспертами по темам компании. С примерами можно ознакомиться здесь.

Источник изображения: NVIDIA

Каталог NVIDIA NIM Agent Blueprints вскоре станет доступен у глобальных системных интеграторов и поставщиков технологических решений, включая Accenture, Deloitte, SoftServe и World Wide Technology (WWT). А такие компании как Cisco, Dell, HPE и Lenovo предложат полнофункциональную ИИ-инфраструктуру с ускорителями NVIDIA для развёртывания NIM Agent Blueprints. NVIDIA пообещала, что ежемесячно будут выпускаться дополнительные шаблоны для различных бизнес-кейсов.

Южнокорейский стартап Rebellions представила на днях план развития своих ИИ-ускорителей. Как сообщает Business Korea, компания ускорит выпуск ИИ-чипов нового поколения, которые получат 4-нм модули памяти HBM3e производства Samsung. Samsung же будет отвечать за объединение чипов и HBM в одной упаковке.

Изначально к концу 2024 года планировалось наладить выпуск продукта Rebel Single с одним модулем памяти, но потом было решено выпустить гораздо более производительный вариант Rebel Quad с четырьмя 12-слойными (12-Hi) модулями HBM3e суммарной ёмкостью 144 Гбайт, тоже к концу текущего года. Новинка придёт на смену ускорителю ATOM, который оснащён всего лишь 16 Гбайт GDDR6.

Использование ёмкой и быстрой HBM3e-памяти считается одним из главных преимуществ Rebel Quad, по этому показателю новинки сравнимы с последними ускорители NVIDIA семейства Blackwell. При этом обещано, что новинки будут значительно энергоэффективнее решений NVIDIA и даже ускорителей Groq. Это по-прежнему серверные ускорители для обработки LLM вроде ChatGPT, но подойдут ли они для обучения ИИ-моделей, пока не уточняется.

Источник изображения: Rebellions

Сейчас Rebellions ориентируется на поставки комплексных ИИ-решений «стоечного уровня». В рамках концепуии Rebellion Scalable Design (RDS) будет предложены программно-аппаратные комплексы, которые позволят органично взаимодействовать многочисленным ускорителями и серверам с максимальной производительностью и энергоэффективностью. Речь идёт о решении, теоретически способном конкурировать с NVIDIA CUDA.