Microsoft и CoreWeave являются конкурентами на рынке ИИ-решений, но это не мешает Microsoft быть крупнейшим клиентом стартапа. Затраты Microsoft на аренду серверов у CoreWeave в период с 2023 по 2030 год составят почти $10 млрд, пишет ресурс The Information. Эта сумма больше, чем сообщалось ранее, и составляет более половины от всех имеющихся у CoreWeave контрактов с клиентами в объёме $17 млрд, отметил ресурс, ссылаясь на комментарии компании в ходе общения с инвесторами.

Недавно CoreWeave получила кредитную линию на $650 млн от нескольких инвестиционных банков, включая JPMorgan Chase, Goldman Sachs и Morgan Stanley. До этого CoreWeave за 12 месяцев привлекла $12,7 млрд в виде акционерного и долгового финансирования, включая раунд долгового финансирования на $7,5 млрд в мае. Также компания в августе 2023 года привлекла $2,3 млрд в виде долга под залог ускорителей NVIDIA от ряда инвесторов. Кроме того, в компанию инвестировала и сама NVIDIA.

Источник изображения: CoreWeave

CoreWeave, основанная в 2017 году в Роузленде (штат Нью-Джерси), предоставляет облачный доступ на правах аренды к самым передовым ускорителям NVIDIA в своих 14 ЦОД. К концу года компания планирует открыть ещё 28 ЦОД. Ранее сообщалось о подготовке CoreWeave к первичному публичному размещению ценных бумаг (IPO), которое может пройти в начале 2025 года.

Сама Microsoft стремительно наращивает закупки суперускорителей NVIDIA GB200 NVL нового поколения и намерена агрессивно масштабировать свои вычислительные ресурсы. Причём не только для себя — Microsoft арендует у Oracle ускорители для нужд OpenAI.

Компания SK hynix на мероприятии SK AI Summit в Сеуле (Южная Корея) сообщила о разработке первых в отрасли 16-ярусных чипов памяти HBM3E, ёмкость которых составляет 48 Гбайт. Клиенты получат образцы таких изделий в начале 2025 года.

Генеральный директор SK hynix Квак Но-Джунг (Kwak Noh-Jung) сообщил, что компания намерена трансформироваться в поставщика ИИ-памяти «полного стека». Ассортимент продукции будет охватывать изделия всех типов — от DRAM до NAND. При этом планируется налаживание тесного сотрудничества с заинтересованными сторонами.

Источник изображения: techpowerup.com

При производстве 16-Hi HBM3E компания будет применять передовую технологию Advanced MR-MUF, которая ранее использовалась при изготовлении 12-слойных продуктов. Память рассчитана на высокопроизводительные ИИ-ускорители. Утверждается, что 16-ярусные изделия по сравнению с 12-слойными аналогами обеспечивают прирост быстродействия на 18 % при обучении ИИ-моделей и на 32 % при инференсе.

SK hynix намерена предложить заказчикам кастомизируемые решения HBM с оптимизированной производительностью, которые будут соответствовать различным требованиям к ёмкости, пропускной способности и функциональности. Плюс к этому SK hynix планирует интегрировать логику непосредственно в кристаллы HBM4. Ранее говорилось, что компания рассчитывает начать поставки памяти HBM4 заказчикам во II половине 2025 года.

В числе других готовящихся продуктов SK hynix упоминает модули LPCAMM2 (Compression Attached Memory Module 2) для ПК и ЦОД, решения LPDDR5 и LPDDR6 с технологией производства 1c-класса, SSD с интерфейсом PCIe 6.0, накопители eSSD и UFS 5.0 большой вместимости на основе чипов флеш-памяти QLC NAND.

Избыток «зелёной» энергии, оказывается, не всегда полезен. В Нидерландах пришлось изменить правила для поставщиков энергии, чтобы избежать проблем в энергосетях. Datacenter Dynamics сообщает, что местные операторы сетей TenneT, Enexis, Liander и Stedin уже объявили о появлении дополнительной ёмкости после публикации новых норм Нидерландским управлением по делам потребителей и рынков (Netherlands Authority for Consumers and Markets).

В соответствии с новыми правилами операторы смогут требовать от производителей энергии при генерации от 1 МВт балансировать поставки в зависимости от спроса. Перегрузки сетей в стране могут возникать по причине большого числа подключений к сетям частных солнечных электростанций и сопутствующего роста рынка потребительских поставок энергии. По данным операторов, гибкий подход обеспечит сетям дополнительную ёмкость для подключения компаний и структур, находящихся сейчас в списке ожидания, и позволит более широко использовать солнечные панели домохозяйствами.

Источник изображения: Jon Moore / Unsplash

По новым правилам операторы энергосетей смогут договариваться с другими участниками рынка о том, как часто и по каким тарифам те будут отдавать энергию, в первую очередь во время пиковых нагрузок. В результате операторы будут посредниками, способными обеспечивать оптимальное использование общей ёмкости электросетей. Предполагается, что подобный подход позволит выкроить до 880 МВт дополнительной мощности, что достаточно для подключения большинства новых клиентов.

Впрочем, большая часть этой мощности ограничена муниципалитетами и территориями Нордостполдер, Фрисландией, Флевополдер, Гелдерланд, Утрехт и Лимбург, а в других регионах страны дополнительная мощность фактически недоступна несмотря на новые меры. Общий дисбаланс поставок и потребления, вероятно, сохранится минимум до 2029 года.

Источник изображения: Cindy Tang / Unsplash

Пока же в Нидерландах ждут присоединения к энергосетям дополнительные возобновляемые источники энергии на 3,64 ГВт. TenneT уже анонсировала значительные инвестиции в ЛЭП в 2024 году. По словам компании, в I полугодии она увеличила инвестиции в развитие до €4,6 млрд ($4,97 млрд), тогда как за аналогичный период прошлого года было потрачено €3,5 млрд. Рост в основном связан с активными вложениями в оффшорный проект на 2 ГВт и некоторые объекты на побережье страны.

Компания NextSilicon сообщила о разработке устройств Maverick-2 — так называемых интеллектуальных вычислительных ускорителей (Intelligent Compute Accelerator, ICA). Изделия, как утверждается, обеспечивают высокую производительность и эффективность при решении задач HPC и ИИ, а также при обслуживании векторных баз данных.

NextSilicon разрабатывает новую вычислительную платформу для ресурсоёмких приложений. Применяются специальные программные алгоритмы для динамической реконфигурации оборудования на основе данных, получаемых непосредственно во время выполнения задачи. Это позволяет оптимизировать производительность и энергопотребление.

Источник изображений: NextSilicon

Maverick-2 ICA, по словам компании, представляет собой программно-определяемый аппаратный ускоритель. По заявлениям NextSilicon, изделие в плане производительности на один ватт затрачиваемой энергии более чем в четыре раза превосходит традиционные GPU, а в сравнении с топовыми CPU и вовсе достигается 20-кратное превосходство. При этом говорится об уменьшении эксплуатационных расходов более чем в два раза.

«Телеметрические данные, собранные во время работы приложения, используются интеллектуальными алгоритмами NextSilicon для непрерывной самооптимизации в реальном времени. Результатом являются эффективность и производительность в задачах HPC при сокращении потребления энергии на 50–80 % по сравнению с традиционными GPU», — заявляет компания.

Решения Maverick-2 доступны в виде однокристальной карты расширения PCIe 5.0 x16 и двухкристального OAM-модуля. В первом случае объём памяти HBM3e составляет 96 Гбайт, энергопотребление — 300 Вт. У второго изделия эти показатели равны 192 Гбайт и 600 Вт. Тактовая частота в обоих вариантах — 1,5 ГГц. При производстве применяется 5-нм технология TSMC. Говорится о совместимости с популярными языками программирования и фреймворками, такими как C/C++, Fortran, OpenMP и Kokkos. Это позволяет многим приложениям работать без изменений, упрощая портирование и устраняя необходимость в проприетарном программном стеке.

Supermicro (Super Micro Computer, SMCI) сообщила об изменениях в действующем кредитном соглашении с банком Cathay Bank. Одним из основных пунктов является продление сроков предоставления финансовой отчетности. Как указано в форме 8-K для SEC, дата подачи аудированных финансовых отчётов за 2024 финансовый год, заканчивающийся 30 июня 2024 года, была перенесена с 28 октября на 31 декабря 2024 года. Аналогичным образом срок отчёта за финансовый квартал, заканчивающийся 30 сентября 2024 года, был продлён с 29 ноября до 31 декабря 2024 года.

Новым соглашением также оговорено, что Supermicro обязана постоянно иметь в резерве не менее $150 млн свободных денежных средств. Это требование призвано гарантировать сохранение ликвидности, что имеет решающее значение для текущей деятельности и финансовой стабильности компании. Сообщается, что этот стратегический шаг отражает приверженность Supermicro поддержанию прочного финансового здоровья компании при адаптации к меняющимся потребностям бизнеса.

Источник изображения: 𝓴𝓘𝓡𝓚 𝕝𝔸𝕀 / Unsplash

Еще в августе Supermicro отложила подачу годового отчёта после публикации Hindenburg Research, в которой сообщалось о предполагаемом мошенничестве с бухгалтерским учётом и должностных преступлениях в сфере корпоративного управления. Перенос якобы был связан с решением провести полную внутреннюю проверку. Подача аудированного годового отчёта Supermicro в оговоренные с банком сроки сейчас под вопросом из-за отказа аудиторов Ernst & Young работать с компанией.

Фондовая биржа Nasdaq предупредила Supermicro о возможном делистинге, если компания не предоставит годовой отчёт до 16 ноября. NVIDIA, по слухам, занимается реструктуризацией заказов Supermicro, чтобы избежать возможных проблем с цепочками поставок. Supermicro входит в пятёрку крупнейших покупателей чипов NVIDIA.

Компания DeepL объявила о намерении развернуть вычислительный комплекс на платформе NVIDIA DGX SuperPOD с ускорителями GB200. Система расположится на площадке EcoDataCenter в Швеции, а её ввод в эксплуатацию запланирован на середину 2025 года.

DeepL специализируется на разработке средств автоматического перевода на основе ИИ. По заявлениям Ярека Кутыловски (Jarek Kutylowski), генерального директора и основателя DeepL, компания создала решение, которое по точности перевода превосходит все другие сервисы на рынке. Более 100 тыс. предприятий, правительственных структур и других организаций, а также миллионы индивидуальных пользователей по всему миру применяют языковые ИИ-инструменты DeepL. Штат компании насчитывает более 1 тыс. сотрудников. Её поддерживают инвестициями Benchmark, IVP, Index Ventures и др.

В 2023 году DeepL развернула суперкомпьютер Mercury на базе NVIDIA DGX SuperPOD с ускорителями H100. В июньском рейтинге TOP500 эта система занимает 41-е место с FP64-производительностью 21,85 Пфлопс и теоретическим пиковым быстродействием 33,85 Пфлопс.

Источник изображения: NVIDIA

Платформа NVIDIA DGX SuperPOD с ускорителями GB200 предусматривает использование жидкостного охлаждения. Возможно масштабирование до десятков тысяч ускорителей. DeepL намерена применять новый комплекс для исследовательских задач — в частности, для разработки передовых ИИ-моделей, которые позволят ещё больше расширить возможности средств перевода между различными языками. Это позволит «разрушить языковые барьеры для предприятий и профессионалов по всему миру», обещает компания.

Федеральная комиссия по регулированию энергетики США (FERC) отклонила наращивание поставок электроэнергии кампусу ЦОД Amazon (AWS) от АЭС Susquehanna. По данным Reuters, регулятор не исключает, что результатом предложенного компаниями соглашения станет рост цен на электричество для рядовых потребителей и падение надёжности энергосети.

Поправка, предложенная оператором энергосети PJM Interconnection, предусматривает изменение ISA-соглашения на поставку энергии. В сделке также участвуют владелец АЭС Susquehanna Nuclear (структура Talen) и владелец линий электропередач, соединяющий станцию с электрической сетью, PPL Corp. Ожидалось, что дата-центрам AWS сразу станет доступно 480 МВт вместо изначальных 300 МВт.

В марте AWS приобрела за $650 млн кампус ЦОД с максимально допустимой мощностью 960 МВт, расположенный вблизи АЭС Susquehanna в Пенсильвании. В будущем компания намерена построить на площади около 650 га сразу 15 зданий ЦОД. Компания заключила соглашение с Talen о минимальной потребляемой мощности на объекте, которая будет расти с шагом в 120 МВт.

Источник изображения: Talen Energy

Хотя в поправке оператор сети уверял, что рост отдаваемой ЦОД мощности не повлияет на надёжность энергосети электропередач, он предупредил, что поставка свыше 480 МВт может вызвать перебои передачи от АЭС к дата-центрам. В будущем нагрузка может быть увеличена до 960 МВт, но только при повышении надёжности сети. Например, при возникновении в сети серьёзных проблем АЭС может отключить питание ЦОД, а использование резервного питания должно быть ограничено особыми случаями, одобренными PJM и PPL.

В июне против соглашения выступили энергокомпании AEP и Exelon. Они подали жалобу в FERC, возмущённые запросом на бесплатную транспортировку энергии с АЭС Susquehanna Steam Electric Station (SSES) в дата-центры AWS. AEP и Exelon посчитали, что AWS всё равно будет пользоваться общей энергосетью Пенсильвании, но платить сборы за это не намерена. Сами участники сделки считают, что сторонних компаний она не касается. Опппоненты же уверены, что это опасный прецедент, несущий экономические и иные риски для других энергокомпаний и создающий финансовую нагрузку на других потребителей.

Как заявил комиссар FERC Марк Кристи (Mark Christie), соглашения о совместном размещении такого рода представляют собой сложный и многогранный вопрос. Они могут иметь серьёзно повлиять на надёжность энергосетей и стоимость электричества. Впрочем, единства нет даже в недрах самой FERC. При голосовании заявку отклонили двумя голосами против одного, а председатель FERC Вилли Филипс (Willie Phillips) выступил против запрета, указав на то, что такие меры могут подорвать доминирование США в гонке за первенство в сфере ИИ. По его словам, это шаг назад в деле защиты национальной безопасности.

Компания TeamGroup анонсировала модули оперативной памяти DDR5 стандарта CAMM2 (Compression Attached Memory Module 2), предназначенные для использования в промышленной и корпоративной сферах. Изделия подходят для edge-систем, приложений ИИ, платформ управления производственным процессом и пр.

Отмечается, что модули CAMM2 обладают рядом преимуществ по сравнению с SO-DIMM, U-DIMM и R-DIMM. В частности, решения CAMM2 поддерживает двухканальный режим работы с одним модулем, что упрощает архитектуру системы и значительно снижает энергопотребление.

Источник изображения: TeamGroup

Модули CAMM2 используют горизонтальное расположение, то есть монтируются параллельно материнской плате. Благодаря этому повышается эффективность рассеяния тепла. Для установки применяются резьбовые стойки. Утверждается, что память CAMM2 превосходит предыдущие стандарты по возможностям разгона, скорости чтения и задержкам.

Полностью характеристики анонсированных изделий компания TeamGroup пока не раскрывает. Известно, что они функционируют на частоте 6400 МГц. Массовые поставки планируется организовать в I квартале 2025 года.

Нужно отметить, что Комитет стандартизации полупроводниковой продукции (JEDEC) утвердил стандарт CAMM2 в декабре 2023 года. Ширина модулей данного типа составляет 78 мм. На момент анонса спецификации говорилось о поддержке ёмкостей до 128 Гбайт. Предусмотрена возможность использования памяти DDR5 для настольных компьютеров и рабочих станций, а также LPDDR5X для тонких и лёгких ноутбуков. При необходимости модули могут оснащаться радиатором охлаждения.

Компания Google сообщила о том, что её новейшие ИИ-ускорители TPU v6 с кодовым именем Trillium доступны клиентам для ознакомления в составе облачной платформы GCP. Утверждается, что на сегодняшний день новинка является самым эффективным решением Google по соотношению цена/производительность.

Официальная презентация Trillium состоялась в мае нынешнего года. Изделие оснащено 32 Гбайт памяти HBM с пропускной способностью 1,6 Тбайт/с, а межчиповый интерконнект ICI обеспечивает возможность передачи данных со скоростью до 3,58 Тбит/с (по четыре порта на чип). Задействованы блоки SparseCore третьего поколения, предназначенные для ускорения работы с ИИ-моделями, которые используются в системах ранжирования и рекомендаций.

Источник изображений: Google

Google выделяет ряд существенных преимуществ Trillium (TPU v6e) перед ускорителями TPU v5e:

• Более чем четырёхкратное повышение производительности при обучении ИИ-моделей;
• Увеличение производительности инференса до трёх раз;
• Улучшение энергоэффективности на 67 %;
• Повышение пиковой вычислительной производительности в расчёте на чип в 4,7 раза;
• Двукратное увеличение ёмкости HBM;
• Удвоение пропускной способности межчипового интерконнекта ICI.

Один узел включает восемь ускорителей TPU v6e (в двух NUMA-доменах), два неназванных процессора (суммарно 180 vCPU), 1,44 Тбайт RAM и четыре 200G-адаптера (по два на CPU) для связи с внешним миром. Отмечается, что посредством ICI напрямую могут быть объединены до 256 изделий Trillium, а агрегированная скорость сетевого подключение такого кластера (Pod) составляет 25,6 Тбит/с. Десятки тысяч ускорителей могут быть связаны в масштабный ИИ-кластер благодаря платформе Google Jupiter с оптической коммутацией, совокупная пропускная способность которой достигает 13 Пбит/с. Trillium доступны в составе интегрированной ИИ-платформы AI Hypercomputer.

Заявляется, что благодаря ПО Multislice Trillium обеспечивается практически линейное масштабирование производительности для рабочих нагрузок, связанных с обучением ИИ. Производительность кластеров на базе Trillium может достигать 91 Эфлопс на ИИ-операциях: это в четыре раза больше по сравнению с самыми крупными развёртываниями систем на основе TPU v5p. BF16-производительность одного чипа TPU v6e составляет 918 Тфлопс, а INT8 — 1836 Топс.

В бенчмарках Trillium по сравнению с TPU v5e показал более чем четырёхкратное увеличение производительности при обучении моделей Gemma 2-27b, MaxText Default-32b и Llama2-70B, а также более чем трёхкратный прирост для LLama2-7b и Gemma2-9b. Кроме того, Trillium обеспечивает трёхкратное увеличение производительности инференса для Stable Diffusion XL (по отношению к TPU v5e). По соотношению цена/производительность TPU v6e демонстрирует 1,8-кратный рост по сравнению с TPU v5e и примерно двукратный рост по сравнению с TPU v5p. Появится ли более производительная модификация TPU v6p, не уточняется.

Компания Google объявила о том, что в составе её облачной платформы в скором времени станут доступны инстансы A3 Ultra на базе ускорителей NVIDIA H200. Новые виртуальные машины предназначены для ресурсоёмких нагрузок, связанных с ИИ, включая обучение больших языковых моделей (LLM).

Напомним, в августе 2023 года Google анонсировала инстансы A3 с ускорителями NVIDIA H100. Позднее дебютировали виртуальные машины A3 Mega с поддержкой конфиденциальных вычислений. А до конца текущего месяца клиенты получат доступ к A3 Ultra со значительно более высокой производительностью.

Представленные инстансы построены на серверах с новыми DPU Titanium ML, оптимизированными для высокопроизводительных облачных рабочих нагрузок ИИ. Заявленная пропускная способность RDMA-соединений GPU↔GPU достигает 3,2 Тбит/с (RoCE). Задействована фирменная платформа Google Jupiter с оптической коммутацией.

Источник изображений: Google

По сравнению с A3 Mega виртуальные машины A3 Ultra обеспечивают следующие преимущества:

• Двукратное повышение пропускной способности интерконнекта GPU↔GPU;
• До двух раз более высокая производительность инференса при работе с LLM;
• Возможность масштабирования до десятков тысяч GPU в кластере высокой плотности с оптимизированной производительностью для масштабных задач ИИ и HPC.

Инстансы A3 Ultra будут доступны через Google Kubernetes Engine (GKE). Кроме того, виртуальные машины войдут в состав Hypercompute Cluster — специализированной платформы, объединяющей передовые ИИ-технологии Google Cloud.

Отмечается также, что в начале 2025 года Google развернёт системы на базе NVIDIA GB200 NVL72. Ранее Google демонстрировала собственный вариант этого суперускорителя.