Компании Microsoft и OpenAI, по сообщению ресурса The Information, обсуждают проект строительства масштабного кампуса ЦОД для решения самых сложных и ресурсоёмких задач в области ИИ. Проект получил кодовое название Stargate, а ввод комплекса в эксплуатацию состоится не ранее 2028 года. Скорее всего, речь всё же идёт о сети ЦОД, а не об одном-единственном объекте.

По имеющимся сведениям, Microsoft и OpenAI реализуют комплексную программу по развитию ИИ-инфраструктуры, охватывающую период до 2030 года. Инициатива разделена на несколько этапов. В частности, в 2026-м должен быть запущен новый ИИ-суперкомпьютер, после чего планируется развернуть комплекс Stargate стоимостью около $100 млрд.

Отмечается, что мощность объектов в составе Stargate может достигать суммарно 5 ГВт. Для их питания рассматриваются альтернативные источники, включая ядерную энергию. В январе нынешнего года стало известно, что Microsoft формирует команду для работы над малыми атомными реакторами. В свою очередь, глава OpenAI Сэм Альтман (Sam Altman) поддерживает компанию Oklo, которая занимается проектами в области атомной энергетики, в том числе для ЦОД.

Источник изображения: Microsoft

Архитектура Stargate пока не раскрывается. Могут быть задействованы ускорители NVIDIA или AMD следующего поколения или изделия собственной разработки. Ранее говорилось, что Microsoft и OpenAI создают свои ИИ-чипы с тем, чтобы уменьшить зависимость от продукции сторонних поставщиков. В частности, Microsoft уже представила фирменный ИИ-ускоритель Maia 100. Кроме того, редмондская корпорация проектирует DPU для ИИ-серверов.

Вместе с тем OpenAI назначила бывшего руководителя Google TPU Ричарда Хо (Richard Ho) главой отдела аппаратного обеспечения. Помимо ИИ-чипов и сетевых компонентов, для проекта Stargate также потребуются серверные стойки высокой плотности, способные поддерживать большую мощность.

Что касается ИИ-суперкомпьютера, который планируется запустить в 2026 году, то он расположится в Маунт Плезант (Висконсин, США). В 2023-м Microsoft начала здесь строительство ЦОД стоимостью $1 млрд. В совокупности все предстоящие проекты Microsoft и OpenAI могут стоить около $115 млрд.

CDN-провайдер Akamai Technologies объявил о заключении соглашения о стратегическом партнёрстве с компанией Neural Magic, разработчиком специализированного ПО для ускорения рабочих нагрузок, связанных с ИИ. Сотрудничество призвано расширить возможности глубокого обучения на базе распределённой вычислительной инфраструктуры Akamai.

Компания Akamai реализует комплексную стратегию по трансформации в распределённого облачного провайдера. В частности, в начале 2023 года Akamai запустила платформу Connected Cloud на базе Linode: это более распределённая альтернатива сервисам AWS или Azure. А в феврале 2024 года была представлена система Gecko (Generalized Edge Compute), которая позволяет использовать облачные вычисления на периферии.

Источник изображения: pixabay.com

В рамках сотрудничества с Neural Magic провайдер предоставит клиентам высокопроизводительную инференс-платформу. Утверждается, что софт Neural Magic даёт возможность запускать ИИ-модели на обычных серверах на базе CPU без дорогостоящих ускорителей на основе GPU. ПО позволяет ускорить выполнение ИИ-задач с помощью технологий автоматического разрежения моделей (model sparsification).

Софт Neural Magic дополнит возможности Akamai по масштабированию, обеспечению безопасности и доставке приложений на периферии. Это позволит компаниям развёртывать ИИ-сервисы в инфраструктуре Akamai c более низкими задержками и повышенной производительностью без необходимости аренды GPU-ресурсов. Платформа Akamai и Neural Magic особенно хорошо подходит для ИИ-приложений, в которых большие объёмы входных данных генерируются близко к периферии.

Занимающийся проектами в области атомной энергетики стартап Oklo подыскивает директора, готового заняться решениями для ЦОД. Компактные реакторы, разрабатываемы Oklo, способны генерировать до 15 МВт и автономно работать более 10 лет до того, как их понадобится «перезарядить». По данным Datacenter Dynamics, потенциальный директор должен привлечь к продуктам компании корпоративных клиентов и гиперскейлеров.

В описании вакансии сообщается, что передовые АЭС Oklo обеспечат дата-центрам энергетическую независимость, которая важна для развёртывания облачных и ИИ-инфраструктур. От кандидата ожидают глубокие знания в области планирования энергоснабжения ЦОД, достаточную квалификацию для выбора площадок, организации строительства, закупок и эксплуатации ЦОД, а также опыт ведения переговоров о покупке энергии (PPA) с крупными потребителями.

Изюминка в том, что стартап поддерживает глава OpenAI Сэм Альтман (Sam Altman). Весьма вероятно, что компания, лидирующая в сфере ИИ, очень рассчитывает на подобные технологии, поскольку нынешние ЦОД для ИИ потребляют огромное количество энергии и воды.

Источник изображения: Oklo

Oklo находится в процессе обратного слияния со SPAC AltC Acquisition, что позволит выйти ей на публичные торги в июле 2024 года. При нынешней оценке бизнеса в $850 млн компания рассчитывает привлечь $500 млн. Правда, в прошлом году ВВС США отменили выделение $100 млн на один из микрореакторов Oklo. Кроме того, компания ещё не получили одобрения со стороны Комиссии по ядерному регулированию США, хотя и успешно завершила вторую фазу тестов совместно с Аргоннской национальной лабораторией.

С некоторых пор дата-центры рассматриваются компанией в качестве потенциального рынка для своих решений, а появление новой вакансии косвенно свидетельствует о том, что теперь она хотела бы привлечь клиентов в этой сфере. Индустрия ЦОД, испытывавшая недостаток электроэнергии ещё до ИИ-бума, рассматривает микрореакторы или малые модульные реакторы (SMR) в качестве потенциального решения проблемы питания.

Ранее в этом году Microsoft, также рассматривающая использование SMR для питания своих ЦОД, наняла ветеранов атомной отрасли. Amazon же пошла более традиционным путём, потратив $650 млн на покупку ЦОД, запитанного от полноценной АЭС. А в России уже более пяти лет работает дата-центр «Калининский», расположенный у одноимённой АЭС.

Корпорация Microsoft объявила о заключении многолетнего партнёрского соглашения с французской компанией Mistral AI, которая специализируется на технологиях ИИ и разработке больших языковых моделей (LLM). В рамках договора Microsoft приобретёт небольшую долю в этом стартапе, оцениваемом приблизительно в €2 млрд.

Сообщается, что Mistral AI сделает свои LLM доступными через облачную инфраструктуру Microsoft Azure. Речь, в частности, идёт о новой модели общего назначения Mistral Large. Она поддерживает французский, немецкий, испанский, итальянский и английский языки.

Стороны намерены сотрудничать по трём ключевым направлениям. Одно из них — использование суперкомпьютерной инфраструктуры: Microsoft будет поддерживать Mistral AI с помощью платформы Azure AI, которая, как утверждается, обеспечивает «лучшую в своём классе производительность и масштабируемость» для обучения ИИ и задач инференса. Вторым направлением является вывод моделей Mistral AI на коммерческий рынок: доступ к LLM будет предоставляться по схеме MaaS (модель как услуга) на базе Azure AI Studio и Azure Machine Learning. Кроме того, Microsoft и Mistral AI намерены вести совместные исследования и разработки в области ИИ.

Источник изображения: pixabay.com

«Мы очень рады начать партнёрские отношения с Microsoft. Благодаря передовой ИИ-инфраструктуре Azure мы достигнем новой вехи в развитии бизнеса и продвижении передовых решений», — сказал Артур Менш (Arthur Mensch), генеральный директор Mistral AI.

Microsoft, которая вкладывает миллиарды долларов в компанию OpenAI, разработчика ИИ-бота ChatGPT, намерена инвестировать в Mistral AI около €15 млн. Это соглашение уже привлекло внимание со стороны Европейской комиссии. Антимонопольный регулятор ЕС хочет проверить условия сделки и оценивать её возможное влияние на рынок.

Стартап Together AI, специализирующийся на облачных и ИИ-технологиях, как сообщает The Information, намерен провести крупный раунд финансирования — на сумму в $100 млн. Ожидается, что рыночная капитализация компании при этом превысит $1 млрд, в результате чего она станет единорогом.

Фирма Together AI была основана в 2022 году. Она развернула облачную платформу с ускорителями NVIDIA H100 и A100 для поддержания ИИ-нагрузок. Клиенты могут использовать кластеры, насчитывающие от 16 до 2048 чипов. Платформа Together AI избавляет заказчиков от необходимости создавать собственную дорогостоящую ИИ-инфраструктуру.

Источник изображения: Together AI

Помимо аппаратного обеспечения, Together AI предлагает несколько программных функций, призванных упростить процесс обучения больших языковых моделей (LLM). В частности, облако компании включает инструмент оптимизации производительности с открытым исходным кодом FlashAttention-2. Он позволяет моделям ИИ более эффективно использовать доступную память для повышения общей производительности.

Клиенты Together AI также имеют доступ к набору обучающих данных RedPajama-Data-v2. Утверждается, что он содержит более 100 млрд документов на пяти языках. При обучении моделей заказчики могут использовать только те наборы информации, которые соответствуют их проекту.

Ожидается, что раунд финансирования на $100 млн проведёт Salesforce Ventures при участии хедж-фонда Coatue Management. С момента основания стартап Together AI привлёк в общей сложности $122,5 млн в ходе двух предыдущих инвестиционных этапов. Компанию поддерживают 29 инвесторов, в том числе Kleiner Perkins, Lux Capital, NVIDIA и SV Angel.

CDN-провайдер Akamai Technologies объявил о запуске платформы Gecko (Generalized Edge Compute), которая позволяет использовать облачные вычисления на периферии. Сервис призван помочь компаниям улучшить качество обслуживания клиентов путём перемещения своих рабочих нагрузок ближе к конечным пользователям.

Проект Gecko является частью стратегии Akamai по её трансформации в распределённого облачного провайдера. По сути, речь идёт о формировании альтернативной облачной инфраструктуры, отвечающей потребностям высокопроизводительных приложений — с небольшими задержками и гибкой масштабируемостью.

Источник изображения: Akamai

Gecko предусматривает интеграцию облачных сервисов в развитую CDN-сеть Akamai. Отмечается, что традиционные современные архитектуры предусматривают разделение облачных и периферийных платформ. В свою очередь, Gecko переносит «тяжёлые» нагрузки, которые обычно обрабатываются в крупных дата-центрах, на периферию. Благодаря этому полнофункциональные вычисления становятся возможными в сотнях ранее недоступных локаций, что позволит клиентам переносить ресурсоёмкие приложения ближе к конечным пользователям.

В начале 2023 года Akamai запустила платформу Connected Cloud на базе Linode. Она представляет собой более распределённую альтернативу сервисам AWS или Azure. Сеть Akamai насчитывает приблизительно 4100 точек присутствия по всему миру. Эта инфраструктура поможет в реализации проекта Gecko.

Источник изображения: Akamai

Платформа Gecko будет развёрнута три этапа. На первом планируется внедрении вычислений с поддержкой виртуальных машин в 100 городах к концу 2024 года. На данный момент компания уже развернула регионы Gecko в таких местах, как Гонконг, Куала-Лумпур (Малайзия), Керетаро (Мексика), Йоханнесбург (Южная Африка), Богота (Колумбия), Денвер (Колорадо), Хьюстон (Техас), Гамбург (Германия) и Марсель (Франция). В конечном итоге Akamai намерена распространить Gecko на сотни городов по всему миру.

Вторая фаза Gecko начнётся позднее в нынешнем году, когда Akamai добавит поддержку контейнеров. На третьем этапе будет реализована поддержка автоматизированной оркестрации рабочих нагрузок, что позволит разработчикам развёртывать распределённые высокопроизводительные приложения.

Среди ключевых рабочих нагрузок для Gecko названы ИИ, многопользовательские игры, а также социальные сети и потоковая передача мультимедийных материалов. Сеть также может использоваться для таких задач, как иммерсивная розничная торговля, пространственные вычисления, потребительский и промышленный Интернет вещей.

Гиперскейлеры ради снижения совокупной стоимости владения (TCO) и зависимости от сторонних вендоров готовы вкладываться в разработку уникальных чипов, изначально оптимизированных под их нужды и инфраструктуру. К небольшому кругу компаний, решившихся на такой шаг, присоединилась Microsoft, анонсировавшая Arm-процессор Azure Cobalt 100 и ИИ-ускоритель Azure Maia 100.

Изображения: Microsoft

Первопроходцем в этой области стала AWS, которая разве что память своими силами не разрабатывает. У AWS уже есть три с половиной поколения Arm-процессоров Graviton и сразу два вида ИИ-ускорителей: Trainium для обучения и Inferentia2 для инференса. Крупный китайский провайдер Alibaba Cloud также разработал и внедрил Arm-процессоры Yitian и ускорители Hanguang. Что интересно, в обоих случаях процессоры оказывались во многих аспектах наиболее передовыми. Наконец, у Google есть уже пятое поколение ИИ-ускорителей TPU.

Microsoft заявила, что оба новых чипа уже производятся на мощностях TSMC с использованием «последнего техпроцесса» и займут свои места в ЦОД Microsoft в начале следующего года. Как минимум, в случае с Maia 100 речь идёт о 5-нм техпроцессе, вероятно, 4N. В настоящее время Microsoft Azure находится в начальной стадии развёртывания инфраструктуры на базе новых чипов, которая будет использоваться для Microsoft Copilot, Azure OpenAI и других сервисов. Например, Bing до сих пор во много полагается на FPGA, а вся ИИ-инфраструктура Microsoft крайне сложна.

Microsoft приводит очень мало технических данных о своих новинках, но известно, что Azure Cobalt 100 имеет 128 ядер Armv9 Neoverse N2 (Perseus) и основан на платформе Arm Neoverse Compute Subsystem (CSS). По словам компании, процессоры Cobalt 100 до +40 % производительнее имеющихся в инфраструктуре Azure Arm-чипов, они используются для обеспечения работы служб Microsoft Teams и Azure SQL. Oracle, вложившаяся в своё время в Ampere Comptuing, уже перевела все свои облачные сервисы на Arm.

Чип Maia 100 (Athena) изначально спроектирован под задачи облачного обучения ИИ и инференса в сценариях с использованием моделей OpenAI, Bing, GitHub Copilot и ChatGPT в инфраструктуре Azure. Чип содержит 105 млрд транзисторов, что больше, нежели у NVIDIA H100 (80 млрд) и ставит Maia 100 на один уровень с Ponte Vecchio (~100 млрд). Для Maia организован кастомный интерконнект на базе Ethernet — каждый ускоритель располагает 4,8-Тбит/с каналом для связи с другими ускорителями, что должно обеспечить максимально эффективное масштабирование.

Сами Maia 100 используют СЖО с теплообменниками прямого контакта. Поскольку нынешние ЦОД Microsoft проектировались без учёта использования мощных СЖО, стойку пришлось сделать более широкой, дабы разместить рядом с сотней плат с чипами Maia 100 серверами и большой радиатор. Этот дизайн компания создавала вместе с Meta✴, которая испытывает аналогичные проблемы с текущими ЦОД. Такие стойки в настоящее время проходят термические испытания в лаборатории Microsoft в Редмонде, штат Вашингтон.

В дополнение к Cobalt и Maia анонсирована широкая доступность услуги Azure Boost на базе DPU MANA, берущего на себя управление всеми функциями виртуализации на манер AWS Nitro, хотя и не целиком — часть ядер хоста всё равно используется для обслуживания гипервизора. DPU предлагает 200GbE-подключение и доступ к удалённому хранилищу на скорости до 12,5 Гбайт/с и до 650 тыс. IOPS.

Microsoft не собирается останавливаться на достигнутом: вводя в строй инфраструктуру на базе новых чипов Cobalt и Maia первого поколения, компания уже ведёт активную разработку чипов второго поколения. Впрочем, совсем отказываться от партнёрства с другими вендорами Microsoft не намерена. Компания анонсировала первые инстансы с ускорителями AMD Instinct MI300X, а в следующем году появятся инстансы с NVIDIA H200.

Компания Untether AI анонсировала специализированный ИИ-ускоритель tsunAImi tsn200, предназначенный для выполнения задач инференса за пределами дата-центров и облачных платформ. Изделие, как утверждается, обеспечивает лучшее в отрасли соотношение производительности, потребляемой энергии и цены.

Решение выполнено в виде низкопрофильной карты расширения с интерфейсом PCIe 4.0 х16. В основу положен чип runAI200, изготовленный по 16-нм технологии. Он имеет динамически изменяемую частоту, которая достигает 840 МГц.

Источник изображения: Untether AI

Ускоритель несёт на борту 204 Мбайт памяти SRAM с пропускной способностью до 251 Тбайт/с. Производительность на ИИ-операциях, согласно техническим характеристикам, достигает 500 TOPS (INT8). Типовое энергопотребление заявлено на уровне 40 Вт, максимальное — 75 Вт. Задействована система пассивного охлаждения. Диапазон рабочих температур простирается от 0 до +55 °C. Питание подаётся через дополнительный коннектор PCIe на плате.

Ускоритель, как утверждается, позволяет осуществлять вычисления ЦОД-класса без привязки к облаку. Изделие может применяться для видеоаналитики в режиме реального времени, обнаружения и классификации объектов, проверки сетевых пакетов с целью регулирования и фильтрации трафика и для других задач.

Американская телекоммуникационная компания Lumen Technologies, предоставляющая широкий спектр услуг связи, по сообщению Datacenter Dynamics, планирует прекратить развитие бизнеса в области сетей доставки контента (CDN). Соответствующие клиентские контракты проданы провайдеру Akamai Technologies. CDN-платформа включает 95 точек присутствия в 40 странах, а общая ёмкость каналов составляет 170 Тбит/с.

Lumen заявляет, что находится в процессе трансформации, который направлен на упрощение бизнес-структуры, а также на развитие облачного направления и расширение предложения Quantum Fiber. Финансовые условия сделки с Akamai не раскрываются, но говорится, что переходный период продлится 90 дней. После этого Lumen прекратит предоставление CDN-услуг. Соглашение не предусматривает передачу каких-либо технологических решений или перевод персонала.

Источник изображения: Lumen

Сама Akamai заявляет, что приобретение клиентов Lumen позволит увеличить выручку на $40–$50 млн по итогам 2024 года. Это вторая подобная сделка, заключенная Akamai за последние месяцы. В августе 2023-го Akamai приобрела около 100 клиентов CDN у Stackpath: эта компания объявила, что с ноября остановит работу своих служб StackPath CDN и Highwinds CDN. По оценкам Akamai, данная сделка принесёт дополнительно $20 млн к 2024 году.

Компания OpenAI, создавшая чат-бот на базе искусственного интеллекта ChatGPT, изучает возможность выпуска собственных ИИ-чипов, сообщает Reuters. По словам источников агентства, изучение этого вопроса продвинулось настолько далеко, что OpenAI даже провела оценку возможности покупки одного из производителей чипов, имя которого выяснить не удалось. На фоне бума ИИ на рынке наблюдается нехватка специализированных ускорителей, в первую очередь NVIDIA.

Как утверждают источники, в прошлом году OpenAI рассматривала ряд вариантов решения этой проблемы, включая разработку собственного ИИ-чипа, более тесное сотрудничество с другими производителями ИИ-чипов, в том числе, NVIDIA, а также расширение круга поставщиков ускорителей. Впрочем, даже если OpenAI приобретёт производителя чипов, на создание ИИ-ускорителя уйдёт несколько лет, в течение которых она всё равно будет зависеть от сторонних поставщиков, таких как NVIDIA и AMD.

Фото: Laura Ockel / Unsplash

Гендиректор Open AI Сэм Альтман (Sam Altman), назвавший приобретение большего количества ИИ-чипов главным приоритетом, публично жаловался на нехватку ускорителей вычислений на рынке, порядка 80 % которого контролирует NVIDIA. Помимо нехватки чипов Альтман назвал ещё одну проблему, имеющуюся у компании — высокие затраты на эксплуатацию аппаратного обеспечения, необходимого для реализации проектов и продуктов компании. Microsoft, которой принадлежит 49 % OpenAI, повторяет те же тезисы и ищет более экономичные альтернативы GPT-4.

С 2020 года OpenAI использует для разработки ИИ-решений мощный суперкомпьютер, построенный Microsoft на базе 10 тыс. ускорителей NVIDIA. Работа ChatGPT обходится компании в немалую сумму. Согласно данным аналитика Bernstein Стейси Расгон (Stacy Rasgon), затраты на выполнение каждого запроса составляют примерно $0,04. Даже при росте количества запросов до десятых долей от объёма поисковых запросов Google, для запуска чат-бота потребуется потратить $48 млрд на первичную закупку ИИ-чипов, а для дальнейшего поддержания работы придётся тратить на ускорители ещё по $16 млрд ежегодно.

Фото: Maxence Pira / Unsplash

В случае выпуска собственных чипов OpenAI пополнит небольшую группу крупных IT-игроков вроде Google и Amazon, которые стремятся взять под свой контроль разработку «кремния», лежащего в основе их бизнеса. OpenAI пока не решила, готова ли она тратить сотни миллионов долларов в год на создание чипа без каких либо гарантий на успех. Например, Meta✴ при разработке ASIC столкнулась с проблемами, из-за которых пришлось отказаться от дальнейшей работы над некоторыми ИИ-чипами, а выход первого ИИ-ускорителя MTIA задержался на два года. Из-за этого, в частности, Meta✴ была вынуждена приостановить строительство ряда своих дата-центров, чтобы адаптировать их для размещения ускорителей NVIDIA.

По данным The Information, Microsoft тоже разрабатывает собственный ИИ-чип, а OpenAI тестирует его. Впервые об ИИ-ускорителях Athena, которые компания якобы разрабатывала с 2019 года, стало известно в апреле этого года. Они должны помочь Microsoft снизить зависимость от продукции NVIDIA, дефицит которых компания признала угрозой бизнесу. Ранее Microsoft, по слухам, подписала соглашения с CoreWeave и Lambda Labs, а также обсуждала с Oracle совместное использования ускорителей NVIDIA. Причина кроется в политике NVIDIA, которая, как считается, гораздо охотнее продаёт «железо» малым провайдерам, которые не пытаются создавать собственные ИИ-чипы, т.е. не опасны для бизнеса «зелёных».