Ещё в прошлом месяце контрактный производитель полупроводников TSMC заявил о том, что спрос на чипы упал во всех сегментах рынка, за одним исключением — чипы для ИИ по-прежнему пользуются высоким спросом. Как сообщает Barron’s, в первую очередь речь идёт о чипах NVIDIA, доминирующих на рынке соответствующих решений.

Растущий спрос на генеративные ИИ-системы привёл к тому, что ускорители H100 стали самым ценным ресурсом. Как заявляют в Amazon Web Services (AWS), спрос на них устойчиво превышает предложение. Своей точкой зрения на проблему поделился и технический директор облачного ИИ-провайдера CoreWeave Брайан Вентуро (Brian Venturo). Компания одной из первых начала предлагать доступ к H100 и имеет тесные связи с NVIDIA — последняя инвестировала в стартап не менее $100 млн.

По словам Внтуро, если в I квартале 2023 года можно было довольно легко получить новые ускорители, то уже в апреле ситуация кардинально изменилась буквально за неделю — сроки выполнения заказов стали переноситься на конец года. H100 потребовались облачным провайдерам, крупным корпорациям и лабораториям, занимающимся ИИ-решениями. Сейчас H100 практически невозможно приобрести. Желающие сделать заказ сегодня могут рассчитывать на поставки в I или II квартале 2024 года. CoreWeave уже оформляет заказы, которые NVIDIA должна выполнить во II и III кварталах 2024 года.

Источник изображения: NVIDIA

При этом решения других компаний, включая AMD, по данным CoreWeave, не пользуются таким спросом. Продукты NVIDIA не просто имеют лучшую аппаратную составляющую, но и развитое и повсеместно распространённое ПО — у стартапов просто нет времени для внедрения решений AMD или Google TPU. NVIDIA годами инвестировала в программную платформу CUDA и теперь, как считает Вентуро, на 10 лет опережает конкурентов.

В кратко- и среднесрочной перспективе CoreWeave не видит появления значимых конкурентов NVIDIA. Так, TPU или AWS Trainium являются весьма специфическими решениями, не подходящими для обычных стартапов, которым требуются быстрые результаты. В этом в CoreWeave видят преимущество для своего бизнеса — компания не только имеет довольно стабильный доступ к ускорителям NVIDIA, но и готова предложить соответствующую вычислительную инфраструктуру малым игрокам.

Сама CoreVeawe активно приобретает всё больше продуктов NVIDIA, привлекая в долг средства для покупки чипов под залог уже имеющихся ускорителей. Как сообщалось в июле, в Техасе компания намерена потратить $1,6 млрд на создание дата-центра для своего ИИ-супероблака. Тем временем NVIDIA инвестирует не только в CoreVeawe — она поддержала конкурента компании, вложив средства в развитие ИИ-стартапа Lambda Labs.

Провайдер облачной ИИ-инфраструктуры CoreWeave объявил о привлечении $2,3 млрд долгового финансирования под залог ускорителей NVIDIA. По данным Silicon Angle, компания намерена полностью потратить вырученные средства на закупку аппаратного обеспечения от всё той же NVIDIA.

Это уже не первый раунд финансирования, суммарно компания привлекла $571 млн, причём от NVIDIA она получила около $100 млн и приоритет в отгрузке новейших ускорителей. Текущая ситуация уникальна тем, что CoreWeave взяла деньги в долг, оставив в качестве залога используемые ею ускорители NVIDIA.

Со взрывным ростом интереса к генеративным ИИ-системам, гонка по созданию всё более масштабных и совершенных ИИ-моделей и инфраструктуры для их обучения потребовала огромного количества дополнительных вычислительных мощностей. Обладая большим числом ускорителей NVIDIA ещё со времён своего «увлечения» криптовалютами, CoreWeave способна превзойти конкурирующих облачных провайдеров.

Источник изображения: CoreWeave

Компания обеспечивает облачный доступ к самым передовым технологиям NVIDIA, включая ускорители H100. Также доступны A100, A40 и RTX A6000. Эти решения можно использовать для систем ИИ и машинного обучения, работы с графикой и других ресурсоёмких задач. В компании утверждают, что уже обладают одним из крупнейших HGX-кластеров в мире и поддерживает более 3500 ускорителей NVIDIA H100 в своей суперкомпьютерной инфраструктуре.

В прошлом месяце компания объявила о строительстве крупного ЦОД в Техасе за $1,6 млрд. Ожидается, что он будет полностью готов к работе в конце текущего года и будет использован для создания ИИ-супероблака.

Компания CoreWeave, предоставляющая облачные ИИ-услуги, планирует потратить не менее $1,6 млрд на ЦОД в городе Плано (Техас). Как сообщает DataCenter Dynamics, компания договорилась о налоговых льготах с городскими властями, так что половина уплаченной суммы будет возвращена в 2025–2026 гг., но только если компания действительно потратит столько, сколько планирует.

CoreWeave начинала с криптомайнинга, но позже успешно переориентировалась на облачные ИИ-решения, а на фоне бума генеративного ИИ только укрепила свои позиции. Важно, что пока ИИ-ускорители для гиперскейлеров находятся в дефиците, NVIDIA даёт CoreWeave и другим стартапам приоритетный доступ к своим чипам. Вместе с тем NVIDIA сама инвестировала значительные средства в CoreWeave, а теперь планирует сделать то же самое с её прямым конкурентом Lambda Labs.

Источник изображения: Lincoln Rackhouse

По данным CoreVeawe, ЦОД площадью 42 тыс. м² позволит удовлетворять спрос на высокопроизводительные облачные ИИ-вычисления и другие передовые технологии. Сегодня компания располагает тремя облачными регионами: в Нью-Джерси, Неваде и Иллинойсе. Известно, что в прошлом месяце она заключила с Microsoft многолетнее соглашение на предоставление мощностей своих ЦОД для выполнения задач, связанных с ИИ-услугами Azure.

Молодая компания Inflection AI, основанная в 2022 году, по сообщению ресурса Datacenter Dynamics, осуществила крупный раунд финансирования, в ходе которого на развитие привлечено $1,3 млрд. Средства предоставят в том числе корпорации Microsoft и NVIDIA. Впрочем, немалая часть этой суммы в конечно итоге всё равно достанется NVIDIA — стартап намерен создать крупнейший в мир ИИ-кластер.

Ранее Inflection AI получила финансирование в размере $225 млн. Деньги предоставили Greylock, Microsoft, Рид Хоффман, Билл Гейтс, бывший глава Google Эрик Шмидт и другие. На сегодняшний день рыночная стоимость Inflection AI оценивается в $4 млрд. Inflection AI создана Мустафой Сулейманом (Mustafa Suleyman), одним из основателей Google DeepMind, а также Ридом Хоффманом (Reid Hoffman), одним из учредителей LinkedIn. Штат стартапа насчитывает немногим более 30 сотрудников.

Источник изображения: Inflection AI

Inflection AI специализируется на технологиях генеративного ИИ. В частности, недавно компания анонсировала чат-бота Pi — свой аналог ChatGPT. «Персональный ИИ трансформирует нашу жизнь. Это действительно переломный момент. Мы рады сотрудничать с NVIDIA, Microsoft, CoreWeave и многими другими, чтобы воплотить это видение в жизнь», — сказал господин Сулейман.

Фирма намерена выступать в качестве ИИ-студии, создавая персонализированные смарт-системы, с которыми пользователи могли бы взаимодействовать простыми и естественными способами. Для этого Inflection AI в партнёрстве с облачным провайдеров CoreWeave намерена развернуть крупнейший в мире кластер ИИ, состоящий из 22 тыс. ускорителей NVIDIA H100. Этот комплекс станет одной из самых мощных НРС-систем в мире: его производительность ожидается на уровне 22 Эфлопс (16-бит точность).

NVIDIA сообщила, что во всех восьми ИИ-бенчмарках MLPerf Training v3.0 её ускорители H100 установили новые рекорды, причём как по отдельности, так и в составе кластеров. В частности, коммерчески доступный кластер из 3584 ускорителей H100, созданным стартапом Inflection AI и облаком CoreWeave, смог завершить обучение ИИ-модели GPT-3 менее чем за 11 минут.

Компания Inflection AI, основанная в 2022 году, использовала возможности решений NVIDIA для создания продвинутой большой языкой модели (LLM) для своего первого проекта под названием Pi. Компания планирует выступать в качестве ИИ-студии, создавая персонализированные ИИ, с которыми пользователи могли бы взаимодействовать простыми и естественными способомами. Inflection AI намерена в сотрудничестве с CoreWeave создать один из крупнейших в мире ИИ-кластеров на базе ускорителей NVIDIA.

«Сегодня наши клиенты массово создают современные генеративные ИИ и LLM благодаря тысячам ускорителей H100, объединённых быстрыми сетями InfiniBand с малой задержкой, — сообщил Брайан Вентуро (Brian Venturo), соучредитель и технический директор CoreWeave. — Наша совместная с NVIDIA заявка MLPerf наглядно демонстрирует их высокую производительность». Отдельно подчёркивается, что благодаря NVIDIA Quantum-2 InfiniBand облачный кластер CoreWeave обеспечил такую же производительность, что и локальный ИИ-суперкомпьютер NVIDIA.

Источник изображений: NVIDIA

NVIDIA отметила, что H100 показали высочайшую производительность во всех тестах MLPerf, включая LLM, рекомендательные системы, компьютерное зрение, обработка медицинских изображений и распознавание речи. «Это были единственные чипы, которые прошли все восемь тестов, продемонстрировав универсальность ИИ-платформы NVIDIA» — сообщила компания. А благодаря оптимизации всего стека NVIDIA удалось добиться в тесте LLM практически линейного роста производительности при увеличении количества ускорителей с сотен до тысяч. Отдельно компания напомнила об энергоэффективности H100.

Также сообщается, что обновлённый бенчмарк MLPerf для рекомендательных систем использует больший набор данных и более современную модель, что позволяет лучше отразить проблемы, с которыми сталкиваются провайдеры облачных услуг. NVIDIA была единственной компанией, представившей результаты расширенного теста. Также компания представила результаты MLPerf для платформ L4 и Jetson. Ну а в следующем раунде MLPerf стоит ждать появления NVIDIA Grace Hopper.

В текущем раунде результаты тестов с использованием платформы NVIDIA представили десяток компаний. Заявки поступили от крупных производителей систем, включая ASUS, Dell Technologies, GIGABYTE, Lenovo и QCT. Более 30 замеров было сделано на ускорителях H100. NVIDIA отметила прозрачность и объективность тестов, поэтому пользователи могут полностью полагаться на результаты MLPerf для принятия решения о покупке систем.

Компания CoreWeave, предоставляющая облачные услуги для решения ресурсоёмких задач, сообщила о расширении раунда финансирования Series B: на этот раз привлечено $200 млн. Деньги пойдут в том числе на развитие инфраструктуры на фоне стремительно растущего рынка генеративного ИИ.

В апреле нынешнего года CoreWeave объявила об инвестиционной программе Series B в размере $221 млн. Этот раунд возглавил фонд Magnetar Capital, предоставивший $111 млн. Кроме того, средства поступили от NVIDIA, бывшего гендиректора GitHub Ната Фридмана (Nat Friedman) и бывшего исполнительного директора Apple Дэниела Гросса (Daniel Gross). На тот момент рыночная стоимость компании оценивалась в $2 млрд.

С привлечением ещё $200 млн общая сумма вложений по программе Series B достигла $421 млн. В целом же на сегодняшний день компания получила от инвесторов $571 млн, из которых порядка $100 млн — от NVIDIA. Как говорилось ранее, CoreWeave направит предоставленные средства на расширение своей специализированной облачной инфраструктуры, введя в строй ещё два дата-центра в США.

Источник изображения: CoreWeave

Отмечается, что бум генеративного ИИ повысил спрос на услуги CoreWeave. Сервисы компании помогают в обучении масштабных моделей и их оптимизации. CoreWeave предлагает решения, специально созданные и оптимизированные для ресурсоёмких рабочих нагрузок ИИ и HPC. Инфраструктура CoreWeave особенно привлекательна для ИИ-стартапов, стремящихся ускорить вывод своих продуктов на коммерческий рынок.

Источник изображения: NVIDIA

Кроме того, по данным CNBC, Microsoft подписала с CoreWeave многолетнее соглашение о сотрудничестве, в рамках которого первая может потратить миллиарды долларов на доступ к инфраструктуре второй. Похожее соглашение Microsoft заключила с Oracle. Как отмечает The Information, сейчас NVIDIA намного более благосклонна к малым и специализированным облачным провайдерам, которые не занимаются разработкой конкурирующих ИИ-ускорителей.

CoreWeave Inc., провайдер услуг облачных вычислений, начинавший с майнинга Ethereum, а сейчас специализирующийся на крупномасштабных рабочих нагрузках с использованием ускорителей, сообщил о завершении раунда финансирования серии B, в результате которого он привлёк $221 млн для расширения своей деятельности.

В раунде финансирования, который возглавила Magnetar Capital ($111 млн инвестиций), также приняли участие компания NVIDIA, бывший гендиректор GitHub Нат Фридман (Nat Friedman) и бывший исполнительный директор Apple Дэниел Гросс (Daniel Gross). Таким образом сумма инвестиций в CoreWeave выросла до $371 млн, а рыночная стоимость компании теперь оценивается в $2 млрд. Компания заявила, что направит полученные средства на расширений своей специализированной облачной инфраструктуры, введя в строй ещё два ЦОД в США. В результате количество дата-центров компании в Северной Америке увеличится до пяти.

Последние годы CoreWeave сосредоточилась на универсальных вычислениях и технологии генеративного искусственного интеллекта (ИИ), требующих интенсивного использования ускорителей. «CoreWeave обладает уникальными возможностями для обеспечения, казалось бы, внезапного бума в области технологий искусственного интеллекта благодаря нашей способности внедрять инновации и двигаться быстрее, чем гиперскейлеры», — заявил соучредитель и гендиректор CoreWeave Майкл Интратор (Michael Intrator).

Источник изображения: coreweave.com

Технологии генеративного ИИ, такие как чат-бот ChatGPT или платформа Stable Diffusion требуют для своей работы ускорители. Благодаря сотрудничеству с NVIDIA компания CoreWeave предоставляет облачный доступ к более чем десятку наименований ускорителей NVIDIA в облаке, включая H100, A100, A40 и RTX A6000, для таких сценариев использования, как ИИ и машинное обучение, визуальные эффекты и рендеринг, пакетная обработка, стриминг и т.д. CoreWeave добавила, что её аппаратное обеспечение для инференса является ведущим в отрасли и способно автомасштабироваться в течение трёх секунд.

«В число наших клиентов входят компании, занимающиеся генеративным ИИ, такие как Tarteel AI и Anlatan, создатели NovelAI; мы поддерживали ряд открытых ИИ-проектов, таких как EleutherAI и Stable Diffusion компании Stability AI, — рассказал Интратор ресурсу TechCrunc, — Мы также работаем с рядом известных VFX- и анимационных студий, таких как Spire Animation, и тесно сотрудничаем с компаниями, занимающимися потоковой передачей 3D и метавселенной, такими как PureWeb».

Он добавил, что у компании более 1000 клиентов по четырём ключевым направлениям — машинное обучение и ИИ, пакетная обработка, Pixel Streaming, визуальные эффекты и рендеринг. Сейчас CoreWeave предлагает клиентам программу-акселератор, запущенную в конце октября, в рамках которой компаниям предоставляются вычислительные кредиты в дополнение к скидкам и аппаратным ресурсам в облаке CoreWeave.