Компания CoreWeave, предоставляющая облачные услуги для ИИ-задач, объявила о заключении партнёрского соглашения со стартапом Run:ai. В рамках сотрудничества клиентам будут предоставляться услуги для эффективного обучения ИИ и улучшения инференса.

CoreWeave, учреждённая в 2017 году, изначально занималась майнингом криптовалют, а затем переориентировалась на вычисления общего назначения и хостинг проектов генеративного ИИ. Компания активно развивает инфраструктуру дата-центров. В апреле 2023-го CoreWeave получила $221 млн в ходе раунда финансирования Series B, а позднее привлекла на развитие ещё $200 млн. В августе 2023-го было объявлено о долговом финансировании в размере $2,3 млрд под залог ускорителей NVIDIA. В декабре прошлого года CoreWeave провела ещё один раунд финансирования — на $642 млн. В мае 2024-го компания получила $1,1 млрд, а затем привлекла дополнительно $7,5 млрд в виде долгового финансирования.

Источник изображения: CoreWeave

В свою очередь, стартап Run:ai основан в 2018 году: в марте 2022-го он получил $75 млн в ходе раунда финансирования Series C. Фирма специализируется на разработке ПО для управления рабочими нагрузками ИИ. Такие инструменты позволяют более эффективно использовать вычислительные ресурсы при работе с ИИ-приложениями. В апреле 2024 года NVIDIA заключила соглашение о приобретении Run:ai. Условия сделки не раскрываются, но, по имеющейся информации, стоимость может составлять до $1 млрд. При этом NVIDIA также является и инвестором CoreWeave.

В рамках нового партнёрства клиенты CoreWeave смогут управлять рабочими нагрузками ИИ в своей инфраструктуре с помощью платформы Run:ai. Решения Run:ai разработаны для оптимизации использования вычислительных ресурсов в облачных средах. Утверждается, что платформа Run:ai, обеспечивающая масштабируемость, гибкость и экономическую эффективность, идеально дополняет облачную архитектуру CoreWeave. Среди ключевых преимуществ для заказчиков названы:

• Стратегическое управление ресурсами;
• Расширенное планирование и определение приоритетов;
• Динамическое распределение вычислительных мощностей;
• Поддержка ИИ на протяжении всего жизненного цикла;
• Улучшенные средства мониторинга;
• Масштабируемость;
• Автоматизированное распределение рабочих нагрузок.

Взрывной рост ИИ сделал индустрию ЦОД одной из самых привлекательных сфер для вложения средств. Как сообщает The Register, NVIDIA совместно с другими инвесторами намерена вложить $160 млн в техасского оператора дата-центров Applied Digital, ранее известного как Applied Blockchain. Это не первый заметный игрок на рынке майнинговых ЦОД, которые переключился на ИИ и получил поддержку NVIDIA.

Акции Applied Digital торгуются на Nasdaq, но по данным Silicon Angle, в данном случае компания привлекла финансирование посредством т.н. «частного размещения» (private placement), которое предусматривает прямую передачу акций инвесторам без посредничества биржи. При этом в сделке обычно участвуют заранее одобренные компании. Applied Digital выпустила 49,38 млн акций по $3,24 за каждую.

Applied Digital занимается строительством дата-центров с СЖО для высокоплотных вычислений. Компания также сдаёт в аренду кластеры ускорителей, в частности, NVIDIA H200 и A40. Облачное подразделение — довольно весомая часть бизнеса Applied Digital. В финансовом году, закончившемся 31 марта, на его долю пришлось $29 млн из $165,6 млн общей выручки. За четыре последних месяца в эксплуатацию введено четыре новых ИИ-кластера, а ещё два запустят в ближайшие месяцы.

Источник изображения: Applied Digital

В августе Applied Digital объявила о строительстве 400 МВт ёмкостей для неназванного американского облачного оператора. Речь идёт о строящемся 100-МВт кампусе в Эллендейле (Северная Дакота) и двух других объектах. По данным СМИ, $160 млн новых инвестиций потратят на создание основы для раундов долгового финансирования, а оно уже будет истрачено на расширение кампуса ЦОД в Северной Дакоте и облачные инициативы компании. Интересно, что именно в этом штате две неизвестных компании готовы потратить $250 млрд на гигантские ИИ ЦОД.

Поскольку передовые ускорители NVIDIA стоят порядка $30-40 тыс. каждый, некоторые операторы вынуждены обращаться за крупными займами. Так, в июле оператор CyrusOne занял $7,9 млрд для покупки новейших ускорителей, не считая $1,8 млрд, привлечённых ещё весной. В мае CoreWeave привлекла $1,1 млрд, а несколькими неделями позже убедила инвесторов одолжить ещё $7,5 млрд. Lambda Labs начала текущий год с раунда финансирования на $320 млн, ещё $500 млн она привлекла весной и теперь планирует закупить десятки тысяч новых ускорителей.

Помимо традиционных венчурных инвесторов вроде BlackRock, Magnetar Capital и Coatue, в некоторых из подобных проектов участвует и сама NVIDIA, ранее уже поддерживавшая CoreWeave, которая прославилась тем, что взяла в долг $2,3 млрд под залог ускорителей, чтобы купить ещё больше ускорителей. Мотивация NVIDIA очевидна — продавать ускорители компания сможет до тех пор, пока на них есть спрос, а спрос может обеспечить только строительство новых дата-центров.

Институт океанологии имени П.П. Ширшова Российской академии наук (ИО РАН), единственный в России институт, занимающийся исследованиями во всех областях морских наук, включая физику, климатологию, химию, биологию и геологию океана, использует в своей работе суперкомпьютерный комплекс, разработанный и установленный специалистами группы компаний РСК.

Используя вычислительные мощности суперкомпьютера, специалисты института изучают роль Мирового океана и морей России в формировании и прогнозировании климата, балансе парниковых газов, а также всего комплекса физических, химических, биологических и геологических процессов в океане и обеспечения экологической безопасности в интересах устойчивого развития человечества.

По словам Сергея Гулева, заведующего Лабораторией взаимодействия океана и атмосферы и мониторинга климата ИО РАН, помимо всего прочего, суперкомпьютер РСК обеспечил для института необходимые вычислительные ресурсы для решения сложных задач в рамках двух важнейших инициатив — проекта государственного значения «Единая национальная система мониторинга климатически активных веществ» и Федеральной научно-технической программы в области экологического развития РФ и климатических изменений на 2021–2030 гг.

Гулев также отметил, что работа на суперкомпьютере позволит накопить опыт, который будет полезен при использовании значительно более мощного вычислительного комплекса, запланированного к запуску в ближайшие два-три года в рамках Единой национальной системы мониторинга климатически активных веществ.

Источник изображения: РСК

После запуска суперкомпьютера РСК несколько раз модернизировала его в 2017–2024 гг. В этом году запланировано ещё одно обновление машины. Сейчас HPC-комплекс ИО РАН включает 50 вычислительных узлов на базе платформы «РСК Торнадо» с процессорами Intel Xeon и прямым жидкостным охлаждением. Недавно к ним были добавлены два узла с ускорителями NVIDIA H100 (тоже с СЖО) общей производительностью 104 Тфлопс (FP64). Теперь суммарная производительность суперкомпьютера превышает 308 Тфлопс.

Хранилище машины включает All-Flash раздел ёмкостью 50 Тбайт, а также HDD-раздел объёмом более 1,5 Пбайт. Благодая программному комплексу «РСК БазИС» создана иерархическая среда хранения данных с возможностью создания конфигурации файловых систем по запросу.

Илон Маск (Elon Musk) объявил о том, что курируемый им стартап xAI запустил кластер Colossus, предназначенный для обучения ИИ. На сегодняшний день в состав этого вычислительного комплекса входят 100 тыс. ускорителей NVIDIA H100, а в дальнейшем его мощности будут расширяться.

Напомним, xAI реализует проект по созданию «гигафабрики» для задач ИИ. Предполагается, что этот суперкомпьютер в конечном итоге будет насчитывать до 300 тыс. новейших ускорителей NVIDIA B200. Оборудование для платформы поставляют компании Dell и Supermicro, а огромный дата-центр xAI расположен в окрестностях Мемфиса (штат Теннесси).

«В эти выходные команда xAI запустила кластер Colossus для обучения ИИ со 100 тыс. карт H100. От начала до конца всё было сделано за 122 дня. Colossus — самая мощная система обучения ИИ в мире», — написал Маск в социальной сети Х.

Источник изображения: WebProNews

По его словам, в ближайшие месяцы вычислительная мощность платформы удвоится. В частности, будут добавлены 50 тыс. изделий NVIDIA H200. Маск подчёркивает, что Colossus — это не просто еще один кластер ИИ, это прыжок в будущее. Основное внимание в рамках проекта будет уделяться использованию мощностей Colossus для расширения границ ИИ: планируется разработка новых моделей и улучшение уже существующих. Ожидается, что по мере масштабирования и развития система станет важным ресурсом для широкого сообщества ИИ, предлагая беспрецедентные возможности для исследований и инноваций.

Запуск столь производительного кластера всего за 122 дня — это значимое достижение для всей ИИ-отрасли. «Удивительно, как быстро это было сделано, и для Dell Technologies большая честь быть частью этой важной системы обучения ИИ», — сказал Майкл Делл (Michael Dell), генеральный директор Dell Technologies.

NVIDIA объявила финансовые результаты за II квартал 2025 финансового года, завершившийся 28 июля 2024 года. Рост выручки компании уже четвёртый квартал подряд превышает ожидания аналитиков. В ходе отчёта компания поделилась прогнозом на следующие три месяца, тоже превысившим ожидания Уолл-стрит. Тем не менее в ходе расширенных торгов акции компании упали на 7 %.

Выручка NVIDIA составила $30,04 млрд, что выше показателя предыдущего квартала на 15 % и на 122 % год к году. Это также значительно выше консенсус-прогноза аналитиков на уровне $20,75 млрд. NVIDIA повысила ожидания по выручке за III квартал до $32,5 млрд (рост год к году на 80 %), что немного выше консенсусного прогноза в $31,77 млрд. Тем не менее, как сообщила ещё до публикации отчёта ресурсу CNBC Стейси Расгон (Stacy Rasgon), аналитик Bernstein, ожидания инвесторов были ближе к $33–$34 млрд.

Источник изображения: NVIDIA

Подразделение по выпуску продуктов для ЦОД принесло компании в отчётном квартале рекордную выручку в размере $26,3 млрд, превысившую результат предыдущего квартала на 16 % и на 154 % показатель годичной давности. При этом подразделение по выпуску вычислительных компонентов увеличило выручку год к году на 162 % до $22,6 млрд, а продажи сетевых решений повысились на 114 % до $3,7 млрд.

Также объявлено, что выручка сегмента профессиональной визуализации увеличилась на 20 % до $454 млн, в автомобильном секторе выручка составила $346 млн (рост 37 %). Чистая прибыль (GAAP) NVIDIA выросла год к году на 168 % до $16,6 млрд или $0,67 на акцию. Чистая прибыль (Non-GAAP) увеличилась на 152 % до $16,9 млрд или $0,68 на акцию. Валовая прибыль составила во II квартале 2025 финансового года 75,1 %, что ниже показателя предыдущего квартала в размере 78,4 %.

Источник: NVIDIA

Как объяснила финансовый директор Колетт Кресс (Colette Kress), снижение связано с изменениями в конструкции ускорителей Blackwell GB200 следующего поколения. Недавно NVIDIA объявила о задержке выхода Blackwell, отметив, что рассчитывает нарастить поставки в IV квартале и получить дополнительно несколько миллиардов долларов дохода. Гендиректор NVIDIA Дженсен Хуанг (Jensen Huang) заявил, что платформа Blackwell будет способствовать росту так называемых «ИИ-фабрики ИИ» для поддержки чрезвычайно интенсивных рабочих нагрузок.

Несмотря на впечатляющий рост бизнеса NVIDIA в сегменте ЦОД, старший аналитик Forrester Research Алвин Нгуен (Alvin Nguyen), выразил обеспокоенность по поводу того, что компания, возможно, «кладёт слишком много яиц в одну корзину». «Я всегда беспокоюсь, когда слишком много доходов сосредоточено на слишком малом количестве рынков, — сказал он, добавив: — Это не их вина. Рынок этого хочет». Бурный рост ЦОД сталкивается с недоступностью электроэнергии и воды, что влечёт за собой сопротивление местных властей. «В некоторых районах невозможно построить ЦОД, потому что он отбирает электроэнергию у 20 тыс. домов», — говорит Нгуен.

Источник изображения: NVIDIA

Тем не менее, гиперскейлеры ищут способы обойти эти барьеры, и именно они могут принести более 45 % доходов ЦОД NVIDIA в течение следующих нескольких лет, говорит Лукас Ке (Lucas Keh), аналитик глобальной исследовательской компании Third Bridge Group Ltd. «Темпы прироста доходов от GPU, как ожидается, сохранятся в течение следующих 12–18 месяцев, — сказал он. — Наши эксперты полагают, что к концу 2025 года 60–70 % обучения (моделей) гипескейлеров будет проводиться на Blackwell».

Впрочем, NVIDIA работает над диверсификацией источников доходов. В этом году она запустила десятки NIM-микросервисов, предназначенных для ускорения развёртывания базовых моделей на облачных платформах. NVIDIA также расширила экосистему библиотек CUDA, которые являются строительными блоками для ИИ-приложений. В компании по-прежнему порядка трёх четвертей инженеров занимается именно разработкой ПО. Кроме того, растут доходы компании от сетевых технологий.

Илон Маск (Elon Musk) продолжает наращивать вычислительные мощности своих компаний. Как сообщает Tom’s Hardware, он поделился сведениями об ИИ-суперкластере Cortex. По данным Tom's Hardware, недавнее дополнение завода Giga Texas компании Tesla будет состоять из 70 тыс. ИИ-серверов, а также потребует 130 МВт энергии на обеспечение вычислений и охлаждения на момент запуска, к 2026 году мощность вырастет до 500 МВт.

На опубликованном в социальной сети X видео Илона Маска показан машинный зал: по 16 IT-стоек в ряд, по два ряда на коридор. Каждая стойка вмещает восемь ИИ-серверов, а в середине каждого ряда видны стойки без таковых. В видео можно разглядеть порядка 16–20 рядов, поэтому довольно грубый подсчёт позволяет предположить наличие около 2 тыс. серверов с ускорителями, т.е. менее 3 % от запланированной ёмкости.

В ходе июльского финансового отчёта Tesla Илон Маск рассказал, что Cortex будет крупнейшим обучающим кластером Tesla на сегодняшний день и будет состоять из 50 тыс. ускорителей NVIDIA H100 и 20 тыс. ускорителей Tesla D1 собственной разработки. Это меньше, чем Маск прогнозировал раньше, в июне он сообщал, что Cortex будет включать 50 тыс. D1. Правда, сообщалось, что на момент запуска будут применяться только решения NVIDIA, а разработки Tesla появятся позже.

Источник изображения: Alexander Shatov/unsplash.com

Кластер Cortex предназначен в первую очередь для обучения автопилота Full Self Driving (FSD), сервиса Cybertaxi и роботов Optimus, ограниченное производство которых должно начаться в 2025 году для использования на заводах компании. Также Маск анонсировал планы потратить $500 млн на суперкомпьютер Dojo в Буффало (штат Нью-Йорк), также принадлежащий Tesla. Первым же в «коллекции» Маска заработал Memphis Supercluster, принадлежащий xAI и оснащённый 100 тыс. NVIDIA H100. Со временем эта система получит 300 тыс. ускорителей NVIDIA B200, но задержки с их производством заставили отложить реализацию проекта на несколько месяцев.

Облачный провайдер CoreWeave намерен арендовать ЦОД у шведского оператора EcoDataCenter. По данным Datacenter Dynamics, партнёры анонсировали сотрудничество для размещения «одного из крупнейших» в Европе кластеров NVIDIA Blackwell.

CoreWeave заявила, что разместит тысячи новых ускорителей NVIDIA, чтобы удовлетворить спрос на крупномасштабную ИИ-инфраструктуру ведущих ИИ-лабораторий и компаний. Эти кластеры должны заработать уже в 2025 году. Дополнительные подробности о том, какие объекты будут использоваться и каков реальный масштаб проекта, неизвестны. По словам представителя CoreWeave, сотрудничество с EcoDataCenter стало поворотной точкой для экспансии в Европе.

EcoDataCenter была сформирована в 2015 году шведской энергетической компанией Falu Energi & Vatten и оператором ЦОД EcoDC AB. В 2018 году застройщик Areim приобрёл контрольный пакет акций компании, обошедшийся приблизительно в $22 млн, а в 2019 году объединил её со шведским оператором Fortlax. Сейчас шведская компания управляет пятью дата-центрами на трёх площадках. Ранее в этом году она объявила о планах постройки нового 150-МВт кампуса EcoDataCenter 2. Кампус будут строить поэтапно, первый блок на 20 МВт построят уже в 2026 году.

Источник изображения: EcoDataCenter

Основанная в 2017 году компания CoreWeave изначально специализировалась на крипто- и блокчейн-технологиях и активно инвестировала в облачные проекты, обеспечивая доступ клиентам к ускорителям. За последние два года компания привлекла $12 млрд в виде инвестиций и прямых займов и планирует потратить $3,5 млрд на расширение бизнеса в Европе, в том числе в Норвегии и Великобритании. К концу 2024 года компания рассчитывает управлять 28 объектами по всему миру, в прошлом году речь шла всего о 14 ЦОД.

NVIDIA сообщила, что её платформы показали самые высокие результаты во всех тестах производительности уровня ЦОД в бенчмарке MLPerf Inference v4.1, где впервые дебютировал ускоритель семейства Blackwell.

Ускоритель NVIDIA B200 (SXM, 180 Гбайт HBM) оказался вчетверо производительнее H100 на крупнейшей рабочей нагрузке среди больших языковых моделей (LLM) MLPerf — Llama 2 70B — благодаря использованию механизма Transformer Engine второго поколения и FP4-инференсу на Tensor-ядрах. Впрочем, именно B200 заказчики могут и не дождаться.

Ускоритель NVIDIA H200, который стал доступен в облаке CoreWeave, а также в системах ASUS, Dell, HPE, QTC и Supermicro, показал лучшие результаты во всех тестах в категории ЦОД, включая последнее дополнение к бенчмарку, LLM Mixtral 8x7B с общим количеством параметров 46,7 млрд и 12,9 млрд активных параметров на токен, использующую архитектуру Mixture of Experts (MoE, набор экспертов).

Источник изображения: NVIDIA

Как отметила NVIDIA, MoE приобрела популярность как способ привнести большую универсальность в LLM, поскольку позволяет отвечать на широкий спектр вопросов и выполнять более разнообразные задачи в рамках одного развёртывания. Архитектура также более эффективна, поскольку активируются только несколько экспертов на инференс — это означает, что такие модели выдают результаты намного быстрее, чем высокоплотные (Dense) модели аналогичного размера.

Также NVIDIA отмечает, что с ростом размера моделей для снижения времени отклика при инференсе объединение нескольких ускорителей становится обязательными. По словам компании, NVLink и NVSwitch уже в поколении NVIDIA Hopper предоставляют значительные преимущества для экономичного инференса LLM в реальном времени. А платформа Blackwell ещё больше расширит возможности NVLink, позволив объединить до 72 ускорителей.

Источник изображения: NVIDIA

Заодно компания в очередной раз напомнила о важности программной экосистемы. Так, в последнем раунде MLPerf Inference все основные платформы NVIDIA продемонстрировали резкий рост производительности. Например, ускорители NVIDIA H200 показали на 27 % большую производительность инференса генеративного ИИ по сравнению с предыдущим раундом. А Triton Inference Server продемонстрировал почти такую же производительность, как и у bare-metal платформ.

Наконец, благодаря программным оптимизациям в этом раунде MLPerf платформа NVIDIA Jetson AGX Orin достигла более чем 6,2-кратного улучшения пропускной способности и 2,5-кратного улучшения задержки по сравнению с предыдущим раундом на рабочей нагрузке GPT-J LLM. По словам NVIDIA, Jetson способен локально обрабатывать любую модель-трансформер, включая LLM, модели класса Vision Transformer и, например, Stable Diffusion. А вместо разработки узкоспециализированных моделей теперь можно применять универсальную GPT-J-6B модель для обработки естественного языка на периферии.

NVIDIA анонсировала NIM Agent Blueprints, каталог предварительно обученных, настраиваемых программных решений, предоставляющий разработчикам набор инструментов для создания и развёртывания приложений генеративного ИИ для типовых вариантов использования, таких как аватары для обслуживания клиентов, RAG, виртуальный скрининг для разработки лекарственных препаратов и т.д.

Предлагая бесплатные шаблоны для частых бизнес-задач, компания помогает разработчикам ускорить создание и вывод на рынок ИИ-приложений. NIM Agent Blueprints включает примеры приложений, созданных с помощью NVIDIA NeMo, NVIDIA NIM и микросервисов партнёров, примеры кода, документацию по настройке и Helm Chart'ы для быстрого развёртывания. Предприятия могут модифицировать NIM Agent Blueprints, используя свои бизнес-данные, и запускать приложения генеративного ИИ в ЦОД и облаках (в том числе в рамках NVIDIA AI Enterprise), постоянно совершенствуя их благодаря обратной связи.

На текущий момент NIM Agent Blueprints предлагают готовые рабочие процессы (workflow) для систем обслуживания клиентов, для скрининга с целью автоматизированного поиска необходимых соединений при разработке лекарств и для мультимодального извлечения данных из PDF для RAG, что позволит обрабатывать огромные объёмы бизнес-данных для получения более точных ответов, благодаря чему ИИ-агенты чат-боты службы станут экспертами по темам компании. С примерами можно ознакомиться здесь.

Источник изображения: NVIDIA

Каталог NVIDIA NIM Agent Blueprints вскоре станет доступен у глобальных системных интеграторов и поставщиков технологических решений, включая Accenture, Deloitte, SoftServe и World Wide Technology (WWT). А такие компании как Cisco, Dell, HPE и Lenovo предложат полнофункциональную ИИ-инфраструктуру с ускорителями NVIDIA для развёртывания NIM Agent Blueprints. NVIDIA пообещала, что ежемесячно будут выпускаться дополнительные шаблоны для различных бизнес-кейсов.

Занимающаяся IT-услугами индонезийская компания Lintasarta запустила облачный ИИ-сервис GPU Merdeka. По данным Datacenter Dynamics, бизнес принадлежит Indosat и будет предлагать услуги в формате GPU-as-a-Service (GPUaaS). Ранее в этом году было объявлено, что NVIDIA и Indosat построят в Индонезии ИИ ЦОД стоимостью $200 млн в Суракарте (Surakarta).

Речь идёт о суверенном ИИ-облаке на основе серверов с восемью NVIDIA H100 (SXM). Сам ЦОД поддерживает до 20 кВт на стойку. Как заявляют в Indosat, благодаря знаковому партнёрству с NVIDIA, компания намерена демократизировать доступ к облачным ИИ-сервисам, сделав соответствующие услуги более доступными в Индонезии и соседних странах. Также компания намерена ускорить рост индонезийской цифровой экономики.

Источник изображения: Harry Kessell/unsplash.com

Облако Merdeka, по словам Lintasarta, является важной вехой на пути превращения в специализирующуюся на ИИ технологическую компанию. Ожидается, что технологии и опыт Lintasarta помогут стране в достижении целей стратегии 2045 Golden Indonesia Vision.

IT-система страны нуждается в модернизации. Совсем недавно хакеры заблокировали правительственный ЦОД в стране, потребовав за ключ дешифровки $80 млн, из-за чего нарушилась работа государственных и медицинских учреждений, транспортной инфраструктуры и т.п. Выяснилось, что резервных копий почти никто не делал. В конце концов злоумышленники бесплатно прислали ключ и извинились, но репутация страны в области IT оказалась подпорчена. При этом соседняя Малайзия стремительно наращивает компетенции в области ЦОД и ИИ, намереваясь стать региональным IT-лидером.