Компания NVIDIA, по сообщению ресурса The Information, вынуждена повременить с началом массового выпуска ИИ-ускорителей следующего поколения на архитектуре Blackwell, сохранив высокие темпы производства Hopper. Проблема, как утверждается, связана с технологией упаковки Chip on Wafer on Substrate (CoWoS) от TSMC.

Отмечается, что NVIDIA недавно проинформировала Microsoft о задержках, затрагивающих наиболее продвинутые решения семейства Blackwell. Речь, в частности, идёт об изделиях Blackwell B200. Серийное производство этих ускорителей может быть отложено как минимум на три месяца — в лучшем случае до I квартала 2025 года. Это может повлиять на планы Microsoft, Meta✴ и других операторов дата-центров по расширению мощностей для задач ИИ и НРС.

По данным исследовательской фирмы SemiAnalysis, задержка связана с физическим дизайном изделий Blackwell. Это первые массовые ускорители, в которых используется технология упаковки TSMC CoWoS-L. Это сложная и высокоточная методика, предусматривающая применение органического интерпозера — лимит возможностей технологии предыдущего поколения CoWoS-S был достигнут в AMD Instinct MI300X. Кремниевый интерпорзер, подходящий для B200, оказался бы слишком хрупок. Однако органический интерпозер имеет не лучшие электрические характеристики, поэтому для связи используются кремниевые мостики.

В используемых материалах как раз и кроется основная проблема — из-за разности коэффициента теплового расширения различных компонентов появляются изгибы, которые разрушают контакты и сами чиплеты. При этом точность и аккуратность соединений крайне важна для работы внутреннего интерконнекта NV-HBI, который объединяет два вычислительных тайла на скорости 10 Тбайт/с. Поэтому сейчас NVIDIA с TSMC заняты переработкой мостиков и, по слухам, нескольких слоёв металлизации самих тайлов.

Вместе с тем у TSMC наблюдается нехватка мощностей по упаковке CoWoS. Компания в течение последних двух лет наращивала мощности CoWoS-S, в основном для удовлетворения потребностей NVIDIA, но теперь последняя переводит свои продукты на CoWoS-L. Поэтому TSMC строит фабрику AP6 под новую технологию упаковки, а также переведёт уже имеющиеся мощности AP3 на CoWoS-L. При этом конкуренты TSMC не могут и вряд ли смогут в ближайшее время предоставить хоть какую-то альтернативную технологию упаковки, которая подойдёт NVIDIA.

Таким образом, как сообщается, NVIDIA предстоит определиться с тем, как использовать доступные производственные мощности TSMC. По мнению SemiAnalysis, компания почти полностью сосредоточена на стоечных суперускорителях GB200 NVL36/72, которые достанутся гиперскейлерам и небольшому числу других игроков, тогда как HGX-решения B100 и B200 «сейчас фактически отменяются», хотя малые партии последних всё же должны попасть на рынок. Однако у NVIDIA есть и запасной план.

План заключается в выпуске упрощённых монолитных чипов B200A на базе одного кристалла B102, который также станет основой для ускорителя B20, ориентированного на Китай. B200A получит всего четыре стека HBM3e (144 Гбайт, 4 Тбайт/с), а его TDP составит 700 или 1000 Вт. Важным преимуществом в данном случае является возможность использования упаковки CoWoS-S. Чипы B200A как раз и попадут в массовые HGX-системы вместо изначально планировавшихся B100/B200.

На смену B200A придут B200A Ultra, у которых производительность повысится, но вот апгрейда памяти не будет. Они тоже попадут в HGX-платформы, но главное не это. На их основе NVIDIA предложит компромиссные суперускорители MGX GB200A Ultra NVL36. Они получат восемь 2U-узлов, в каждом из которых будет по одному процессору Grace и четыре 700-Вт B200A Ultra. Ускорители по-прежнему будут полноценно объединены шиной NVLink5 (одночиповые 1U-коммутаторы), но вот внутри узла всё общение с CPU будет завязано на PCIe-коммутаторы в двух адаптерах ConnectX-8.

Главным преимуществом GX GB200A Ultra NVL36 станет воздушное охлаждение из-за относительно невысокой мощности — всего 40 кВт на стойку. Это немало, но всё равно позволит разместить новинки во многих ЦОД без их кардинального переоборудования пусть и ценой потери плотности размещения (например, пропуская ряды). По мнению SemiAnalysis, эти суперускорители в случае нехватки «полноценных» GB200 NVL72/36 будут покупать и гиперскейлеры.

Нидерландская Yandex N. V. (бренд Nebius), бывшая материнская компания «Яндекса», объявила неаудированные финансовые результаты за II квартал, завершившийся 30 июня 2024 года. В пресс-релизе Yandex N. V. сообщается, что основное направление работы компании — это предложение ориентированной на ИИ облачной платформы Nebius AI.

Консолидированная выручка Nebius Group выросла год к году на 430 % до $24,9 млн. При этом убытки по скорректированному показателю EBITDA составили $68,1 млн (-1 % год к году). Чистые убытки за квартал уменьшились на 47 % в годовом исчислении до $39,3 млн, скорректированные убытки сократились на 7 % до $72,7 млн.

Источник изображения: Nebius AI

Во II квартале платформа Nebius AI была основным источником дохода Nebius Group. Облачная выручка Nebius AI выросла почти на 60 % по сравнению с предыдущим кварталом, а ARR (годовой регулярный доход) по состоянию на июль 2024 года превысил $80 млн.

Источник изображения: nebius.group

Сообщается, что рост обусловлен увеличением продаж мощностей GPU на разных рынках, а также расширением и диверсификацией клиентской базы, в том числе благодаря появлению в начале квартала опции самообслуживания, что позволило клиентам получать доступ к ресурсам, минуя традиционные каналы продаж. Средик клиентов Nebius AI, общее количество которых превышает 30, есть Mistral AI, Luma AI (Luma Dream Machine), JetBrains (IntelliJ IDEA) и др.

Источник изображения: nebius.group

В отчётном квартале Nebius AI начала расширять вычислительные ресурсы в ЦОД в Финляндии, благодаря чему, как ожидается, ёмкость объекта после завершения модернизации в I половине 2026 года станет в три раза больше. Также в начале июля 2024 года Nebius AI подписала соглашение об аренде ЦОД в Париже, что позволит расширить общую ёмкость ЦОД примерно на 25 %. Новый ЦОД, как ожидается, будет введён в эксплуатацию к ноябрю 2024 года.

Yandex N.V. будет переименована в Nebius Group N.V. при условии одобрения акционерами на годовом общем собрании 15 августа 2024 года.

Китайские техногиганты, включая игроков вроде Huawei и Baidu, а также стартапы активно запасают HBM-чипы Samsung Electronics. По данным агентства Reuters, это делается в ожидании новых ограничений со стороны США на поставки в КНР чипов, использующих американские технологии.

Как сообщают источники издания, компании наращивают закупки соответствующих чипов ещё с начала 2024 года, на долю китайских покупателей придётся порядка 30 % выручки Samsung от продаж HBM в I половине 2024 года. Экстренные меры наглядно демонстрируют нежелание Китая отказываться от технологических амбиций даже на фоне торговых войн с США и их союзниками.

Ранее Reuters сообщало, что американские власти намерены представить новые санкционные ограничения ещё до конца текущего месяца. Они призваны ограничить возможности китайской полупроводниковой индустрии. Источники сообщают, что в документах будут заданы и параметры для ограничений на поставки HBM-памяти. Министерство торговли США отказалось от комментариев, но на прошлой неделе заявило, что постоянно обновляет правила экспортного контроля для защиты национальной безопасности США и технологической экосистемы страны.

Источник изображения: Samsung

HBM-чипы считаются критически важными компонентами при разработке передовых ИИ-ускорителей. Возможности выпуска HBM пока доступны только трём производителям: южнокорейским SK Hynix и Samsung, а также американской Micron Technology. По данным информаторов Reuters, в Китае особым спросом пользуется вариант HBM2E, который отстаёт от передового HBM3E. Глобальный бум ИИ-технологий привёл к дефициту наиболее передовых решений.

По мнению экспертов, поскольку собственные китайские технологии в этой области ещё не слишком зрелые, спрос китайских компаний и организаций на сторонние HBM-чипы чрезвычайно велик, а Samsung оставалась единственной опцией, поскольку производственные мощности других производителей уже забронированы американскими ИИ-компаниями.

Хотя объёмы и стоимость запасённых Китаем HBM-чипов оценить нелегко, известно, что они используются компаниями самого разного профиля, а Huawei, например, применяет Samsung HBM2E для выпуска передовых ИИ-ускорителей Ascend. Впрочем, Huawei и CXMT уже сфокусировали внимание на разработке чипов HBM2 — они на три поколения отстают от HBM3E.

Тем не менее, американские санкции могут помешать новым китайским проектам. Более того, от них может больше пострадать Samsung, чем её ключевые соперники, которые меньше связаны с китайским рынком. Micron не продаёт HBM-чипы в Китай с прошлого года, а SK Hynix, чьими ключевыми клиентами являются компании вроде NVIDIA, специализируются на более современных решениях.

Эксперты IDC рассчитывают, что установленная ёмкость дата-центров в Азиатско-Тихоокеанском регионе к 2028 году достигнет 94,4 ГВт, а совокупный среднегодовой темп роста (GAGR) достигнет 14,2 %. Как заявляют в Datacenter Dynamics со ссылкой на доклад компании, в прогнозе не учитываются показатели Японии.

В документе IDC объявила, что расходы на увеличение IT-ёмкостей увеличились год к году на 9,6 %. Тем не менее эксперты добавили, что показатели роста рынка могут удвоиться в 2024 году до 18,3 %. Рост во многом связывается с появлением многочисленных дата-центров гиперскейл-уровня и попыткой модернизации инфраструктуры в регионе. Конечно, не последнюю роль играет и бум ИИ-технологий.

Источник изображения: analogicus/pixabay.com

По словам представителя IDC, цифровая трансформация и генеративный ИИ ведут к реорганизации дата-центров, что ведёт к беспрецедентному росту и технологическому развитию Азиатско-Тихоокеанского региона. В компании считают, что новые законы о локализации данных заставляют местные корпорации пересмотреть принципы размещения и обработки данных для того, чтобы их инфраструктура соответствовала быстро меняющимся и неоднородным правилам в регионе.

Недостаток электроэнергии и перебои в цепочках поставок в регионе представляют риск для роста ЦОД — пока нечто подобное наблюдается и во всём мире. При это спрос на ЦОД в регионе значительно превышает предложение, а энергии для новых кампусов может и не хватить.

Флеш-память типа NOR появилась чуть раньше, чем NAND, но благодаря дешевизне и простоте масштабирования именно NAND получила более широкое распространение. Этому во многом помогло освоение технологии 3D NAND, благодаря которой удалось серьёзно нарастить ёмкости серийных накопителей.

NOR не умерла, поскольку у неё есть преимущества перед NAND — быстрый случайный доступ вкупе с надёжностью, благодаря чему она часто используется во встраиваемых и индустриальных решениях для хранения прошивок, BIOS и т.д. Однако отсутствие многослойности серьёзно сдерживало масштабирование данного типа флеш-памяти. Но тайваньская компания Macronix, специализирующаяся на создании нишевых NAND- и NOR-решений, собирается это изменить.

3D NOR. Источник: Macronix

Ещё в 2022 году Macronix объявила о том, что работает над созданием 32-слойной памяти 3D NOR, что позволит нарастить ёмкость в сравнении с 2D NOR в семь раз. Основными рыночными нишами для данной разработки были названы встраиваемые и промышленные приложения, а также сфера автомобильного транспорта.

Структурно 3D NOR состоит из многослойного «бутерброда» с чередующимися слоями оксидов и нитридов, который пронизывают так называемые «пробки» — довольно сложные вертикальные структуры, состоящие из двух столбцов полупроводника, легированного по n-типу, с прокладкой из нитрида кремния между ними. Две такие «пробки» на каждую ячейку служат в качестве стока и истока для транзисторов, составляющих каналы бит-столбцов. Строки слов (и затворы вышеупомянутых транзисторов) расположены ортогонально.

Источник: Macronix

Новая память рассчитана на 100 тыс. циклов перезаписи с полным стиранием, имеет задержку доступа в районе 100 нс и линейную скорость доступа 400 Мбайт/с на кристалл (DDR-200). Она также характеризуется низким энергопотреблением (питание 1,8 или 3 В), может иметь интерфейсы QSPI/Octal и отвечает стандартам надёжности AECQ-100 и ISO 26262 ASIL уровня B. Упаковываются кристаллы в стандартные корпуса 24-BGA.

В опубликованных ранее материалах компании говорилось о планах начать массовое производство 3D NOR ёмкостью 1, 2, 4 и 8 Гбит в 2024 году. В реальности новинки несколько задержатся — опытные поставки начнутся в этом году, а широкой доступности чипов раньше 2025 года ждать не стоит.

Компания Solidigm представила серию производительных SSD D7-PS1010 и D7-PS1030 на базе новой 176-слойной флеш-памяти SK hynix. Главным нововведением можно назвать переход на более новую версию интерфейса: если D7-P5x20 использовали PCI Express 4.0, то в D7-PS10x0 используется PCI Express 5.0. Это позволило довести скорость чтения до 14,5 Гбайт/c и, чуть-чуть обогнав Micron 9550 по этому показателю, назвать новинки самыми производительными в мире SSD.

Новые накопители ориентированы на сценарии с высокой интенсивностью IO-операций ввода-вывода, характерных, в числе прочего, и для ИИ-нагрузок. Оба модельных ряда представлены в форм-факторах E3.S (7,5 мм) и U.2 (15 мм). В иерархии накопителей Solidigm новинки расположились сразу за D7-P5810, которые используют флеш-память в режиме SLC.

Источник изображений: Solidigm

Третья цифра в обозначении новых моделей означает число полных перезаписей в день (DPWD) в течение 5 лет. Таким образом, D7-PS1010 представляют собой SSD для смешанных нагрузок с показателем PBW в 28 Пбайт для старшей модели (1 DWPD), а D7-PS1030 покажут большую надёжность в сценариях с активной записью данных (3 DWPD), поскольку гарантированно выдержат до 70 Пбайт записи.

Для всех вариантов заявлена наработка на отказ на уровне 2,5 млн часов. Наличие защиты от сбоев по питанию и коррекции ошибок в SRAM позволяет заявить о высоком уровне надёжности (UBER) — по словам производителя, он в 100 раз превышает требования JEDEC. Новинки соответствуют стандартам NVMe v2.0, NVMe-MI v1.2, OCP v2.0r21, TCG-OPAL 2.02, DMTF SPDM 1.1.0 и поддерживают Secure Boot, подписанные прошивки, безопасное стирание, управление жизненным циклом и т.д.

Модельный ряд PS1010 стартует с отметки 1,92 Тбайт и заканчивается версией объёмом 15,36 Тбайт, а PS1030 в силу ориентации на повышенную надёжность выпускаются объёмами от 1,6 до 12,8 Тбайт. Показатели линейной скорости записи начинаются с 4,1 Гбайт/с, версии объёмом 3,2/3,84 Тбайт развивают 8,2 Гбайт/с, а наиболее ёмкие варианты — 9,3 Гбайт/с. Производительность на случайных операциях лежит в пределах 2,35–3,1 млн IOPS при чтении и 0,15–0,8 млн IOPS при записи.

Новые SSD очень экономичны, удельное соотношение производительности к энергопотреблению, по словам Solidigm, у них на 70 % лучше, нежели у решений иных производителей. При этом производительность новинок в нагрузках с высокой долей случайных операций чтения на 46 % выше, чем у конкурентов. Вкупе с поддержкой GPUDirect это делает D7-PS1010 и D7-PS1030 идеальным выбором при построении ИИ-кластеров, говорит производитель.

То ли в шутку, то ли всерьёз компания Torrance Computer Supply (TCS) начала продажи накопителей с предзаписанными большими язковыми моделями. Доступны как HDD ёмкостью 14 Тбайт, так и карта памяти вместимостью 1 Тбайт.

HDD-вариант базируется на недорогом 14-Тбайт LFF-накопителе MDD (MDD16TSATA25672E): SATA-3, 7200 RPM, кеш 256 Мбайт. Это один из самых доступных жёстких дисков такой ёмкости, поскольку MDD занимается восстановлением б/у накопителей и продажей складских остатков крупных вендоров под своим брендом. В комплекте с жёстким диском поставляется кейс Orico и адаптер USB 3.0 с внешним питанием (12 В, 24 Вт).

Mika Baumeister / Unsplash

Согласно описанию, на жёсткий диск записаны актуальные версии более двух десятков открытых больших языковых моделей (LLM), включая различные варианты Llama, Mistral, Nemotron и др. Предлагаются версии от нескольких миллиардов до почти полутриллиона параметров максимальным объёмом до 820 Гбайт. Продавцы уверяют, что постоянно меняют набор в зависимости от изменений рынка и технологий. Покупка обойдётся в $229, но если накопитель вернуть, то можно получить $125 на дальнейшие покупки в этом же магазине.

На том же сайте предлагается и комплект LLM «для бедных» — желающие могут приобрести флэш-карту SanDisk 1TB Ultra microSDXC UHS-I на 1 Тбайт с адаптером в комплекте. Этот вариант стоит всего $119 и поставляется как минимум с тремя ИИ-моделями: Llama3.1 на 8, 70 и 405 млрд параметров. Практическая ценность данных предложений сомнительна, поскольку никто не мешает скачать те же самые модели и записать их на свой накопитель. Впрочем, некоторые компании предлагают услуги по оффлайн-транспортировке данных, но в этом случае речь идёт о на порядок больших объёмах.

Крупные технологические компании не скрывают намерения продолжать активно вкладываться в разработку и эксплуатацию ИИ-систем. Как свидетельствует блог IEEE Communication Society (ComSoc), они готовы идти на это даже с учётом того, что инвесторы уже обеспокоены тем, что гигантские вложения могут окупиться нескоро. Впрочем, признаков того, что бум ИИ-технологий продолжится, всё ещё немало.

В прошлом квартале капитальные затраты Apple, Amazon, Meta✴, Microsoft и Alphabet в общей сложности составили $59 млрд, на 63 % больше год к году и на 161 % больше чем четыре года назад. В значительной части средства ушли на постройку дата-центров и их оснащение новыми системами для ИИ. Из крупнейших компаний не особенно много потратила лишь Apple, и то потому, что компания не строит собственных передовых ИИ-систем и, в отличие от прочих, не является традиционным облачным провайдером.

Источник изображения: New York Times

В начале года Meta✴ заявила, что потратит в 2024 году более $30 млрд на новую технологическую инфраструктуру. В апреле она подняла прогноз трат до $35 млрд, а в минувшую среду — уже до $37 млрд, и это минимум. По словам главы компании Марка Цукерберга (Mark Zuckerberg), компания будет тратить больше уже в следующем году, он заявил, что лучше будет строить «слишком быстро, чем слишком поздно» — IT-гигант не позволит конкурентам обогнать его в гонке ИИ. Цукерберг считает, что ИИ может использоваться для совершенствования всех продуктов компании буквально в любых аспектах.

Новый этап развития генеративных ИИ-систем чрезвычайно дорог, но финансовая отдача от них пока не слишком впечатляет. В последние месяцы некоторые экспертные и инвестиционные компании, включая Goldman Sachs и Sequoia Capital, поставили под вопрос вероятность того, что затраты на ИИ вообще смогут когда-либо окупиться. При этом некоторые считают, что пока непонятно, окажет ли ИИ на общество хотя бы приблизительно то же значение, что и появление интернета и мобильных телефонов.

Единого взгляда на проблему нет. Если одни говорят, что ИИ лишь отнимет рабочие места с помощью дорогих технологий (что не всегда случалось в ходе других научно-технических революций), то другие уверены, что количество рабочих мест только увеличится и новые сотрудники требуются уже сейчас — изменится только характер работы. В частности, в Amazon с оптимизмом смотрят в будущее, покупая новую землю, чипы и оборудование, а также строя новые ЦОД и ожидая рост выручки в следующем десятилетии.

Источник изображения: Axios

Прибыли и выручка крупных компаний продолжат расти, но обеспечат ли большие затраты хорошую окупаемость инвестиций в долгосрочной перспективе? Пока косвенным показателем является отчётность за II квартал 2024 года:

• Alphabet — чистая прибыль $24 млрд, выручка $85 млрд;
• Microsoft — $22 млрд и $65 млрд;
• Meta✴ — $13,5 млрд и $39 млрд;
• Apple — $21 млрд и $86 млрд;
• Amazon — $13,5 млрд и $148 млрд.

Dell Technologies Inc. уволит пока неуточнённое количество сотрудников в рамках реорганизации отделов продаж и маркетинга, а также новой группы, занимающейся ИИ-проектами. По данным источников Silicon Angle, речь идёт о постепенном сокращении 12,5 тыс. человек начиная со вторника, хотя официального подтверждения информации пока нет.

Если сведения верны, речь идёт об увольнении порядка 10 % общемирового штата Dell — в компании сегодня числятся 120 тыс. человек. По словам другого источника, масштаб увольнений может быть ещё больше. Dell отказалась делиться подробностями, но подтвердила, что компания станет «более компактной». Вендор объединяет команды и производит переоценку приоритетных направлений для инвестиций ради клиентов и партнёров. В памятке для внутреннего использования топ-менеджеры Dell, по слухам, объявили сотрудникам о сокращении компании и оптимизации «слоёв» менеджмента.

Источник изображения: Matt Collamer/unsplash.com

Слухи об увольнениях уже довольно давно распространились по Сети. Источники сообщают, что предварительные сведения о сокращении всего лишь 1 % штата оказались слишком оптимистичными и проблема затронет многие сегменты компании, от продаж до сервис-центров, маркетинга и инженеров. Это не первая волна сокращений. Только в прошлом году компания уволили не менее 13 тыс. человек, в том числе 6 тыс. в феврале 2023 года. Ещё один раунд сокращений состоялся в августе, но его масштаб не уточнялся.

В последнем квартале Dell разочаровала инвесторов. 31 мая, через день после публикации финансового отчёта, акции компании упали почти на 18 %, а эксперты выразили озабоченность влиянием роста спроса на ИИ-серверы на общую прибыльность компании. В Dell ожидали, что валовая прибыль упадёт приблизительно на 150 базовых пунктов в фискальном 2025 году из-за увеличения доли ИИ-серверов, инфляции и роста конкуренции.

Новости об увольнении следуют за объявлением на прошлой неделе об увольнении Intel 15 % сотрудников, масштабная реформа коснётся не менее 15 тыс. человек. Акции компании упали в минувшую пятницу на 26 % после того, как производитель чипов объявил о не внушающих оптимизма финансовых показателях.

Компания Microchip Technology анонсировала контроллер Flashtec NVMe 5016, предназначенный для создания высокопроизводительных SSD корпоративного класса с интерфейсом PCIe 5.0 (NVMe 2.0+). Такие накопители смогут применяться в том числе в дата-центрах, ориентированных на ресурсоёмкие ИИ-задачи.

16-канальный контроллер Flashtec NVMe 5016, как утверждает разработчик, способен обеспечивать скорость последовательного чтения информации более 14 Гбайт/с. Показатель IOPS (операций ввода/вывода в секунду) при произвольном чтении 4K-блоками достигает 3,5 млн. Контроллер поддерживает как однопортовую конфигурацию PCIe 5.0 x4, так и двухпортовую (два x2). Новинка рассчитана в первую очередь на накопители в форм-факторах E.3 и U.2/U.3.

Источник изображения: Microchip

Контроллер может работать с чипами флеш-памяти разного типа, включая QLC, TLC, MLC, SLC NAND (Toggle/ONFI 3200 МТ/с). В качестве буфера можно использовать DDR5-5200. Реализованы средства коррекции ошибок LDPC/ECC и сквозная защита целостности данных. Также в состав контроллера входит ML-движок для интеллектуального управления накопителем. Заявленная энергетическая эффективность при обработке данных составляет 2,5 Гбайт в расчёте на 1 Вт. При производстве Flashtec NVMe 5016 используется 6-нм техпроцесс.

Источник изображения: Microchip

По заявлениям Microchip, новый контроллер предназначен для поддержания различных корпоративных приложений, таких как обработка транзакций и финансовых данных, интеллектуальный анализ информации и пр. Есть поддержка ZNS, FDP, виртуализации (PF/VF), SRIOV. Гибкость и масштабируемость изделия помогают снизить общую стоимость владения инфраструктурой хранения данных.

Пробные поставки Flashtec NVMe 5016 уже начались. Разработчикам доступны сопутствующие комплекты — решения PM35160-KIT и PMT35161-KIT с различной конфигурацией NAND, а также SDK.