Компания OpenAI, создатель чат-бота ChatGPT, объявила о заключении соглашения о поглощении стартапа Rockset — разработчика специализированной СУБД, которая пригодится в работе с ИИ. Информации об ориентировочной стоимости сделки нет. Rockset была учреждена около восьми лет назад выходцами из Facebook✴.

Основателями Rockset являются Венкат Венкатарамани (Venkat Venkataramani) и Дхруба Бортакур (Dhruba Borthakur), занимающие должности генерального и технического директоров соответственно. В ходе «посевной» программы было привлечено $3 млн. Затем были осуществлены раунды Series A, В и В Extended на $18,5 млн, $40 млн и $37 млн соответственно. Кроме того, выполнено долговое финансирование на $7 млн. Таким образом, в общей сложности Rockset получила на развитие $105,5 млн.

Источник изображения: Rockset

Инструменты Rockset, как утверждается, позволяют пользователям, разработчикам и предприятиям лучше использовать имеющиеся данные и получать доступ к информации в реальном времени. В результате может быть повышена эффективность ИИ-приложений. Rockset также ведёт разработки в области векторных баз данных, которые обычно используются для поддержки векторного поиска — визуального, семантического и мультимодального. Такие базы помогают ускорить разработку продуктов на базе ИИ и упростить эксплуатацию соответствующих рабочих нагрузок.

В рамках сделки Rockset станет частью OpenAI, а решения стартапа будут интегрированы в системы OpenAI. Существующие клиенты Rockset в краткосрочной перспективе не ощутят существенных изменений.

Microsoft снова прибегнет к помощи Oracle для того, чтобы помочь OpenAI расширить вычислительные мощности. По данным The Register, компания арендует ИИ-мощности у Oracle Cloud Infrastructure (OCI). Microsoft уже вложила в OpenAI огромные средства и, по некоторым данным, владеет почти половиной компании, но, похоже, ресурсов Azure не хватает для того, чтобы ИИ-стартап смог свободно расти.

В ходе последнего квартального отчёта Oracle заявлялось, что компания скоро построит «очень-очень большой дата-центр», около половины которого будет использовать Microsoft. Предполагается, что в нём будет использовано немало ускорителей NVIDIA с СЖО, предназначенных в первую очередь для обучения ИИ-моделей. ИИ-инфраструктура Oracle второго поколения будет существенно производительней первого и спрос на неё будет велик, говорит Oracle.

Так, OCI Supercluster сможет объединить до 64 тыс. суперускорителей NVIDIA Blackwell GB200 посредством RDMA-интерконнекта с ультранизкой задержкой и получит высокопроизводительные хранилища. Суперкластером помимо Microsoft будут пользоваться Adept, Modal, MosaicML, NVIDIA, Reka, Suno, Together AI, Twelve Labs и xAI — Илон Маск (Elon Musk) уже объявил о готовности потратить $10 млрд на облачные серверы Oracle. При этом Oracle предлагает собственный сервис OCI Generative AI, который является конкурентом Azure OpenAI.

Источник изображения: Pawel Nolbert/unsplash.com

Первые слухи о взаимном использовании облачных ресурсов Microsoft и Oracle появились год назад. Впоследствии Microsoft действительно арендовала ускорители NVIDIA у Oracle. Кроме того, компании стали значительно ближе к другу к другу — Oracle разместила свои комплексы Exadata в Azure. Аналогичное решение вскоре появится и в Google Cloud Platform — сервис последней Cross-Cloud Interconnect будет доступен в 11 облачных регионах OCI, а до конца 2024 года должен стартовать проект Oracle Database@Google Cloud.

В последнем квартале быстрее всего у Oracle росла выручка от облачных сервисов лицензионной поддержки. В компании заявляют о крупнейших контрактах в истории на фоне спроса на обучение ИИ-моделей и рекордных уровнях продаж сервисов OCI. При этом клиенты переходят от разовых закупок на многолетнее облачное обслуживание, чего Oracle и добивалась. Обязательства компании (RPO) уже достигли $98 млрд.

В ближайшем будущем Oracle будет наращивать производительность ИИ-инфраструктуры, чтобы клиенты могли пользоваться актуальными моделями, и строить всё больше крупных дата-центров. Ёмкость некоторых ЦОД приблизится к 1 ГВт. По слухам, Microsoft и OpenAI в марте 2024 года изучали возможность строительства кампуса на 5 ГВт за $100 млрд. Кроме того, как считается, Microsoft является одним из крупнейших заказчиков CoreWeave. Прямо сейчас Microsoft стремительно наращивает ёмкость своих ЦОД и ежемесячно вводит в строй по пять ИИ-суперкомпьютеров.

Компания OpenAI, активно усиливающая свои ИИ-системы, по слухам, намерена закупать в «огромных объёмах» энергию для своих ЦОД у разработчика термоядерных проектов — компании Helion. По данным Datacenter Dynamics, в последнюю инвестировал $375 млн сам глава OpenAI Сэм Альтман (Sam Altman), который является председателем совета директоров Helion, а также другие крупные игроки IT-рынка.

Термоядерная энергия в перспективе обеспечит практически неограниченные поставки дешёвого «чистого» электричества, но, несмотря на потраченные на её разработку огромные средства, никаких коммерческих решений в этой сфере пока не существует. В Helion заверяют, что её термоядерная электростанция заработает уже в 2028 году. Она, как ожидается, будет использовать гелий-3. Другие компании в основном полагаются в своих разработках на тритий.

Источник изображения: Helion

Microsoft заключила с Helion соглашение о покупке «чистой» энергии ещё в прошлом году — это первый в своём роде контракт, связанной с термоядерным синтезом. В рамках сделки Helion будет поставлять Microsoft до 50 МВт безуглеродной энергии. Параллельно Microsoft является инвестором OpenAI, компании работают вместе над ИИ-ЦОД Stargate на 5 ГВт. Проект обойдётся в $100 млрд и будет запущен уже в 2028 году.

Ранее Альтман уже заявлял, что новые энерготехнологии вроде термоядерного синтеза будут необходимы ИИ-инфраструктуре из-за больших потребностей наиболее передовых систем. Альтман заявил, что справиться с возникающими задачами без качественного прорыва невозможно и добавил, что необходим термоядерный синтез или комбинация чрезвычайно дешёвых солнечных элементов с энергохранилищами — в огромных масштабах.

Занимающаяся разработкой и выпуском солнечных элементов питания компания Exowatt получила финансирование от руководителя OpenAI Сэма Альтмана (Sam Altman), а также двух других инвесторов. The Register сообщает, что точных данных об объёмах инвестиций Альтмана нет, но вкладывает деньги не его компания, а он лично.

Доля вложений Альтмана в Exowatt неизвестна, но есть данные, что двумя другими инвесторами выступили Andreessen Horowitz и Atomic. Общий объём инвестиций составляет $20 млн. В Exowatt рассчитывают генерировать экобезопасное электричество, стоимость которого со временем упадёт до $0,01/кВт·ч. Серьёзные проекты начнут реализовать уже в 2024 году.

Exowatt разрабатывает солнечные панели, сохраняющие энергию в виде тепла, которое конвертируется в электричество. Интеграция довольно больших «тепловых аккумуляторов» с собственно солнечными линзами в одном блоке, как заявляют в компании, и является ключевым отличием от других решений. Утверждается, что новое солнечное решение для питания ИИ и дата-центров будущего обеспечит меньшую стоимость энергии, чем у электростанций на ископаемом топливе.

Источник изображения: Exowatt

Высокие энергетические показатели чрезвычайно важны, когда речь идёт о дата-центрах, не говоря о ЦОД для ИИ-систем — дефицит электричества является серьёзной проблемой для гиперскейлеров вроде AWS, Microsoft или Google. Сам Альтман ещё в январе 2024 года говорил о проблемах с электроснабжением и подчёркивал, что для развития ИИ потребуется «прорыв» в энергетических технологиях.

Считается, что причиной инвестиций Альтмана отчасти стала дружба с главой Atomic Джеком Абрахамом (Jack Abraham), хотя глава OpenAI не впервые вкладывает деньги в энергетические проекты. Например, он поддерживает «атомные» стартапы Helion и Oklo. Примечательно, что первым потенциальным клиентом Helion является Microsoft, имеющая тесные связи с OpenAI — компания намерена получить доступ к электричеству, полученному за счёт термоядерного синтеза, уже в 2028 году.

Впрочем, в краткосрочной перспективе будут применяться более привычные источники электричества — солнечная и атомная энергии. Exowatt и другие экзотические энергетические компании всё ещё находятся на стадии стартапов. В то же время Amazon, например, использует традиционную АЭС для питания недавно купленного кампуса ЦОД.

Компании Microsoft и OpenAI, по сообщению ресурса The Information, обсуждают проект строительства масштабного кампуса ЦОД для решения самых сложных и ресурсоёмких задач в области ИИ. Проект получил кодовое название Stargate, а ввод комплекса в эксплуатацию состоится не ранее 2028 года. Скорее всего, речь всё же идёт о сети ЦОД, а не об одном-единственном объекте.

По имеющимся сведениям, Microsoft и OpenAI реализуют комплексную программу по развитию ИИ-инфраструктуры, охватывающую период до 2030 года. Инициатива разделена на несколько этапов. В частности, в 2026-м должен быть запущен новый ИИ-суперкомпьютер, после чего планируется развернуть комплекс Stargate стоимостью около $100 млрд.

Отмечается, что мощность объектов в составе Stargate может достигать суммарно 5 ГВт. Для их питания рассматриваются альтернативные источники, включая ядерную энергию. В январе нынешнего года стало известно, что Microsoft формирует команду для работы над малыми атомными реакторами. В свою очередь, глава OpenAI Сэм Альтман (Sam Altman) поддерживает компанию Oklo, которая занимается проектами в области атомной энергетики, в том числе для ЦОД.

Источник изображения: Microsoft

Архитектура Stargate пока не раскрывается. Могут быть задействованы ускорители NVIDIA или AMD следующего поколения или изделия собственной разработки. Ранее говорилось, что Microsoft и OpenAI создают свои ИИ-чипы с тем, чтобы уменьшить зависимость от продукции сторонних поставщиков. В частности, Microsoft уже представила фирменный ИИ-ускоритель Maia 100. Кроме того, редмондская корпорация проектирует DPU для ИИ-серверов.

Вместе с тем OpenAI назначила бывшего руководителя Google TPU Ричарда Хо (Richard Ho) главой отдела аппаратного обеспечения. Помимо ИИ-чипов и сетевых компонентов, для проекта Stargate также потребуются серверные стойки высокой плотности, способные поддерживать большую мощность.

Что касается ИИ-суперкомпьютера, который планируется запустить в 2026 году, то он расположится в Маунт Плезант (Висконсин, США). В 2023-м Microsoft начала здесь строительство ЦОД стоимостью $1 млрд. В совокупности все предстоящие проекты Microsoft и OpenAI могут стоить около $115 млрд.

Занимающийся проектами в области атомной энергетики стартап Oklo подыскивает директора, готового заняться решениями для ЦОД. Компактные реакторы, разрабатываемы Oklo, способны генерировать до 15 МВт и автономно работать более 10 лет до того, как их понадобится «перезарядить». По данным Datacenter Dynamics, потенциальный директор должен привлечь к продуктам компании корпоративных клиентов и гиперскейлеров.

В описании вакансии сообщается, что передовые АЭС Oklo обеспечат дата-центрам энергетическую независимость, которая важна для развёртывания облачных и ИИ-инфраструктур. От кандидата ожидают глубокие знания в области планирования энергоснабжения ЦОД, достаточную квалификацию для выбора площадок, организации строительства, закупок и эксплуатации ЦОД, а также опыт ведения переговоров о покупке энергии (PPA) с крупными потребителями.

Изюминка в том, что стартап поддерживает глава OpenAI Сэм Альтман (Sam Altman). Весьма вероятно, что компания, лидирующая в сфере ИИ, очень рассчитывает на подобные технологии, поскольку нынешние ЦОД для ИИ потребляют огромное количество энергии и воды.

Источник изображения: Oklo

Oklo находится в процессе обратного слияния со SPAC AltC Acquisition, что позволит выйти ей на публичные торги в июле 2024 года. При нынешней оценке бизнеса в $850 млн компания рассчитывает привлечь $500 млн. Правда, в прошлом году ВВС США отменили выделение $100 млн на один из микрореакторов Oklo. Кроме того, компания ещё не получили одобрения со стороны Комиссии по ядерному регулированию США, хотя и успешно завершила вторую фазу тестов совместно с Аргоннской национальной лабораторией.

С некоторых пор дата-центры рассматриваются компанией в качестве потенциального рынка для своих решений, а появление новой вакансии косвенно свидетельствует о том, что теперь она хотела бы привлечь клиентов в этой сфере. Индустрия ЦОД, испытывавшая недостаток электроэнергии ещё до ИИ-бума, рассматривает микрореакторы или малые модульные реакторы (SMR) в качестве потенциального решения проблемы питания.

Ранее в этом году Microsoft, также рассматривающая использование SMR для питания своих ЦОД, наняла ветеранов атомной отрасли. Amazon же пошла более традиционным путём, потратив $650 млн на покупку ЦОД, запитанного от полноценной АЭС. А в России уже более пяти лет работает дата-центр «Калининский», расположенный у одноимённой АЭС.

Гиперскейлеры ради снижения совокупной стоимости владения (TCO) и зависимости от сторонних вендоров готовы вкладываться в разработку уникальных чипов, изначально оптимизированных под их нужды и инфраструктуру. К небольшому кругу компаний, решившихся на такой шаг, присоединилась Microsoft, анонсировавшая Arm-процессор Azure Cobalt 100 и ИИ-ускоритель Azure Maia 100.

Изображения: Microsoft

Первопроходцем в этой области стала AWS, которая разве что память своими силами не разрабатывает. У AWS уже есть три с половиной поколения Arm-процессоров Graviton и сразу два вида ИИ-ускорителей: Trainium для обучения и Inferentia2 для инференса. Крупный китайский провайдер Alibaba Cloud также разработал и внедрил Arm-процессоры Yitian и ускорители Hanguang. Что интересно, в обоих случаях процессоры оказывались во многих аспектах наиболее передовыми. Наконец, у Google есть уже пятое поколение ИИ-ускорителей TPU.

Microsoft заявила, что оба новых чипа уже производятся на мощностях TSMC с использованием «последнего техпроцесса» и займут свои места в ЦОД Microsoft в начале следующего года. Как минимум, в случае с Maia 100 речь идёт о 5-нм техпроцессе, вероятно, 4N. В настоящее время Microsoft Azure находится в начальной стадии развёртывания инфраструктуры на базе новых чипов, которая будет использоваться для Microsoft Copilot, Azure OpenAI и других сервисов. Например, Bing до сих пор во много полагается на FPGA, а вся ИИ-инфраструктура Microsoft крайне сложна.

Microsoft приводит очень мало технических данных о своих новинках, но известно, что Azure Cobalt 100 имеет 128 ядер Armv9 Neoverse N2 (Perseus) и основан на платформе Arm Neoverse Compute Subsystem (CSS). По словам компании, процессоры Cobalt 100 до +40 % производительнее имеющихся в инфраструктуре Azure Arm-чипов, они используются для обеспечения работы служб Microsoft Teams и Azure SQL. Oracle, вложившаяся в своё время в Ampere Comptuing, уже перевела все свои облачные сервисы на Arm.

Чип Maia 100 (Athena) изначально спроектирован под задачи облачного обучения ИИ и инференса в сценариях с использованием моделей OpenAI, Bing, GitHub Copilot и ChatGPT в инфраструктуре Azure. Чип содержит 105 млрд транзисторов, что больше, нежели у NVIDIA H100 (80 млрд) и ставит Maia 100 на один уровень с Ponte Vecchio (~100 млрд). Для Maia организован кастомный интерконнект на базе Ethernet — каждый ускоритель располагает 4,8-Тбит/с каналом для связи с другими ускорителями, что должно обеспечить максимально эффективное масштабирование.

Сами Maia 100 используют СЖО с теплообменниками прямого контакта. Поскольку нынешние ЦОД Microsoft проектировались без учёта использования мощных СЖО, стойку пришлось сделать более широкой, дабы разместить рядом с сотней плат с чипами Maia 100 серверами и большой радиатор. Этот дизайн компания создавала вместе с Meta✴, которая испытывает аналогичные проблемы с текущими ЦОД. Такие стойки в настоящее время проходят термические испытания в лаборатории Microsoft в Редмонде, штат Вашингтон.

В дополнение к Cobalt и Maia анонсирована широкая доступность услуги Azure Boost на базе DPU MANA, берущего на себя управление всеми функциями виртуализации на манер AWS Nitro, хотя и не целиком — часть ядер хоста всё равно используется для обслуживания гипервизора. DPU предлагает 200GbE-подключение и доступ к удалённому хранилищу на скорости до 12,5 Гбайт/с и до 650 тыс. IOPS.

Microsoft не собирается останавливаться на достигнутом: вводя в строй инфраструктуру на базе новых чипов Cobalt и Maia первого поколения, компания уже ведёт активную разработку чипов второго поколения. Впрочем, совсем отказываться от партнёрства с другими вендорами Microsoft не намерена. Компания анонсировала первые инстансы с ускорителями AMD Instinct MI300X, а в следующем году появятся инстансы с NVIDIA H200.