Foxlink Group (Cheng Uei Precision Industry) открыла крупнейший на Тайване суперкомпьютерный центр Ubilink (Ubilink.AI). По данным DigiTimes, центр предназначен для обслуживания предприятий малого и среднего бизнеса (SME), которые не могут позволить себе собственных вычислительных мощностей.

Хотя основной деятельностью Foxlink является производство разъёмов, компания расширяет бизнес, осваивая решения для управления электропитанием и коммуникаций, а также выпуск энергетических модулей. Центр Ubilink создан дочерней Shinfox Energy совместно с Asustek Computer и японской Ubitus, занимающейся предоставлением облачных услуг.

В Ubitus сообщили, что инфраструктура Ubilink включает 128 серверов Asus, 1024 ускорителя NVIDIA H100 и интерконнект NVIDIA Quantum-2 InfiniBand. Конфигурация обеспечивает до 45,82 Пфлопс (FP64) — система занимает 31-е место в рейтинге TOP500. В будущем станут применять и более современные B100 и B200 — когда те будут доступны. Ожидается, что в 2025 году суммарно будет установлено 10 240 ускорителей H100, B100 и B200.

Представители местных властей уже заявили, что Ubilink существенно улучшит позиции Тайваня на рынке ИИ-вычислений, на котором территория сегодня занимает 26-е место. В Asustek добавляют, что достигнутая производительность в 45,82 Пфлопс заметно превышает плановые 40 Пфлопс. Кроме того, центр имеет PUE на уровне 1,2 — ранее ожидалось, что удастся добиться энергоэффективности лишь на уровне 1,38.

Благодаря использованию опыта Shinfox Energy в области возобновляемой энергетики, Ubilink стал первым в Азии суперкомпьютерным центром, использующим «зелёные» источники энергии — клиенты могут воспользоваться вычислениями без существенного ущерба окружающей среде.

Источник изображения: UBITUS

Предполагается, что Ubilink компенсирует отсутствие мощностей для местных малых и средних компаний, не имеющих доступа к значительным вычислительным ресурсам. Предлагая доступные вычислительные мощности, центр позволяет таким бизнесам расширить свои портфели предложений и конкурировать даже на мировом уровне.

Суперкомпьютер уже востребован местными разработчиками чипов, компаний, занимающихся их упаковкой и тестированием, биотехнологическими бизнесами, а также исследовательскими институтами различной направленности. Из-за высокого спроса Foxlink уже рассматривает вторую и третью фазы расширения проекта.

Как сообщает CNBC, стартап xAI Илона Маска (Elon Musk) привлёк многомиллиардные инвестиции: деньги будут направлены на закупку ускорителей NVIDIA для расширения вычислительных мощностей ИИ-суперкомпьютера.

Напомним, в начале сентября нынешнего года компания xAI запустила ИИ-кластер Colossus со 100 тыс. ускорителей NVIDIA H100. В составе платформы применяются серверы Supermicro, узлы хранения типа All-Flash, адаптеры SuperNIC, а также СЖО. Суперкомпьютер располагается в огромном дата-центре в окрестностях Мемфиса (штат Теннесси).

Как теперь стало известно, в рамках нового раунда финансирования xAI привлечёт $6 млрд. Из них $5 млрд поступит от суверенных фондов Ближнего Востока, а ещё $1 млрд — от других инвесторов, имена которых не раскрываются. При этом рыночная стоимость стартапа достигнет $50 млрд. О том, что xAI получит дополнительные средства на развитие, также сообщает Financial Times. По данным этой газеты, речь идёт о $5 млрд при капитализации стартапа на уровне $45 млрд.

Источник изображения: NVIDIA

Ранее Маск говорил о намерении удвоить производительность Colossus: для этого, в частности, планируется приобрести примерно 100 тыс. ИИ-ускорителей, включая 50 тыс. изделий NVIDIA H200. Судя по всему, привлеченные средства стартап также направит на покупку других решений NVIDIA, в том числе коммутаторов Spectrum-X SN5600 и сетевых карт на базе BlueField-3.

Между тем жители Мемфиса выражают недовольство в связи с развитием ИИ-комплекса xAI. Активисты, в частности, обвиняют стартап в том, что используемые на территории его дата-центра генераторы ухудшают качество воздуха в регионе.

Калифорнийский коммунальный оператор Pacific Gas and Electric Company (PG&E) намерен построить в Сан-Хосе кампус из трёх ЦОД с общей подведённой мощностью 200 МВт и внедрить ИИ-оборудование NVIDIA на площадке при АЭС Diablo Canyon, передаёт Datacenter Dynamics.

В рамках совместного проекта PG&E Corporation с застройщиком Westbank в Сан-Хосе появятся три дата-центра и более 4 тыс. единиц жилья. Локальная энергосистема свяжет дата-центры и близлежащие районы, благодаря чему можно будет использовать тепло дата-центров для отопления и подачи горячей воды в соседние здания, что позволит добиться нулевых углеродных выбросов.

Также PG&E объявила о NVIDIA развёртывании ИИ-оборудования NVIDIA и программных ИИ-решений Atomic Canyon на АЭС Diablo Canyon Power Plant. В NVIDIA уже заявили, что внедрение ИИ строго регулируемыми отраслями вроде атомной энергетики открывает новые возможности, а продукты Atomic Canyon будут способствовать росту операционной эффективности отрасли.

В частности, речь идёт о решении Neutron Enterprise на базе семейства ИИ-моделей FERMI компании Atomic Canyon, которые разработаны совместно с учёными Министерства энергетики США. Решение предназначено для ядерных объектов и в основном применяется для работы с документацией. Предполагается, что это обеспечит значительную экономию средств и повысит эффективность и безопасность работы АЭС. ИИ-продукты Atomic Canyon позволят быстрее получать и обрабатывать данные.

Источник изображения: Andrii Ganzevych/unsplash.com

Как отмечает Reuters, решение о внедрении ИИ — не просто дань моде. Станцию уже планировали закрыть, но отложили этот процесс в 2022 году из-за необходимости достижения планируемых показателей «безуглеродности» в штате. В Diablo Canyon насчитывается 9 тыс. различных процедур и 9 млн. документов, многие на микрофильмах. Для того, чтобы PG&E могла сохранить федеральную лицензию на эксплуатацию в течение ещё 20 лет, необходимо сформировать планы управления АЭС с учётом её старения.

Значительную часть информации предстоит получить из документов, подготовленных десятилетия назад. ИИ, обученный на таких документах, поможет найти в огромном массиве необходимые материалы, в том числе на микрофильмах, а в будущем сможет помочь в составлении расписаний обслуживания станции, принимающих в расчёт множество факторов. При этом весь ИИ-комплекс работает автономно и не имеет прямого выхода глобальную Сеть.

АЭС Diablo Canyon Power Plant была запущена в 1985 году. Совокупная мощность двух реакторов Westinghouse составляет порядка 2,25 ГВт. Это единственная оставшаяся в Калифорнии действующая атомная электростанция и она обеспечивает подачу почти 9 % электроэнергии штата, а также 17 % энергии с нулевым углеродным выбросом.

Ускорители Blackwell компании NVIDIA опередили в бенчмарках MLPerf Training 4.1 чипы H100 более чем в 2,2 раза, сообщил The Register. По словам NVIDIA, более высокая пропускная способность памяти в Blackwell также сыграла свою роль. Тесты были проведены с использование собственного суперкомпьютера NVIDIA Nyx на базе DGX B200.

Новые ускорители имеют примерно в 2,27 раза более высокую пиковую производительность в вычисления FP8, FP16, BF16 и TF32, чем системы H100 последнего поколения. B200 показал в 2,2 раза более высокую производительность при тюнинге модели Llama 2 70B и в два раза большую производительность при предварительном обучении (Pre-training) модели GPT-3 175B. Для рекомендательных систем и генерации изображений прирост составил 64 % и 62 % соответственно.

Компания также отметила преимущества используемой в B200 памяти HBM3e, благодаря которой бенчмарк GPT-3 успешно отработал всего на 64 ускорителях Blackwell без ущерба для производительности каждого GPU, тогда как для достижения такого же результата понадобилось бы 256 ускорителей H100. Впрочем, про Hopper компания тоже не забывает — в новом раунде компания смогла масштабировать тест GPT-3 175B до 11 616 ускорителей H100.

Источник изображений: NVIDIA

Компания отметила, что платформа NVIDIA Blackwell обеспечивает значительный скачок производительности по сравнению с платформой Hopper, особенно при работе с LLM. В то же время чипы поколения Hopper по-прежнему остаются актуальными благодаря непрерывным оптимизациям ПО, порой кратно повышающим производительность в некоторых задач. Интрига в том, что в этот раз NVIDIA решила не показывать результаты GB200, хотя такие системы есть и у неё, и у партнёров.

В свою очередь, Google представила первые результаты тестирования 6-го поколения TPU под названием Trillium, о доступности которого было объявлено в прошлом месяце, и второй раунд результатов ускорителей 5-го поколения TPU v5p. Ранее Google тестировала только TPU v5e. По сравнению с последним вариантом, Trillium обеспечивает прирост производительности в 3,8 раза в задаче обучения GPT-3, отмечает IEEE Spectrum.

Если же сравнивать результаты с показателями NVIDIA, то всё выглядит не так оптимистично. Система из 6144 TPU v5p достигла контрольной точки обучения GPT-3 за 11,77 мин, отстав от системы с 11 616 H100, которая выполнила задачу примерно за 3,44 мин. При одинаковом же количестве ускорителей решения Google почти вдвое отстают от решений NVIDIA, а разница между v5p и v6e составляет менее 10 %.

Источник изображения: Google

В тесте Stable Diffusion система из 1024 TPU v5p заняла второе место, завершив работу за 2,44 мин, тогда как система того же размера на основе NVIDIA H100 справилась с задачей за 1,37 мин. В остальных тестах на кластерах меньшего масштаба разрыв остаётся примерно полуторакратным. Впрочем, Google упирает на масштабируемость и лучшее соотношение цены и производительности в сравнении как с решениями конкурентов, так и с собственными ускорителями прошлых поколений.

Также в новом раунде MLPerf появился единственный результат измерения энергопотребления во время проведения бенчмарка. Система из восьми серверов Dell XE9680, каждый из которых включал восемь ускорителей NVIDIA H100 и два процессора Intel Xeon Platinum 8480+ (Sapphire Rapids), в задаче тюнинга Llama2 70B потребила 16,38 мДж энергии, потратив на работу 5,05 мин. — средняя мощность составила 54,07 кВт.

NVIDIA объявила о серии совместных проектов с SoftBank, направленных на ускорение суверенных инициатив Японии в области ИИ, которые также обеспечат возможность получения дохода от ИИ для поставщиков телекоммуникационных услуг по всему миру.

В выступлении на саммите NVIDIA AI Summit Japan генеральный директор NVIDIA Дженсен Хуанг (Jensen Huang) объявил, что SoftBank создаёт самый мощный в Японии ИИ-суперкомпьютер с использованием платформы NVIDIA DGX SuperPOD B200 и интерконнекта Quantum-2 InfiniBand. Эта система станет первой в мире, которая получит системы DGX B200. Она будет использоваться компанией для разработки генеративного ИИ и развития других бизнес-решений, а также для предоставления вычислительных услуг университетам, научно-исследовательским институтам и предприятиям в стране. Суперкомпьютер идеально подойдёт для разработки больших языковых моделей (LLM), говорится в пресс-релизе.

Пока что на звание самого мощного ИИ-суперкомьютера Японии претендует система ABCI 3.0 на базе NVIDIA H200. Впрочем, Softbank не сидит сложа руки и планирует построить ещё один суперкомпьютер, на этот раз на базе суперускорителей GB200 NVL72. Они же будут использоваться в проекте Sharp, KDDI и Supermicro по созданию «крупнейшего в Азии» ИИ ЦОД.

Источник изображения: NVIDIA

Также в ходе саммита было объявлено, что SoftBank, используя платформу ускоренных вычислений NVIDIA AI Aerial, успешно запустил первую в мире телекоммуникационную сеть, объединяющую возможности ИИ и 5G. В ходе испытаний, проведенных в префектуре Канагава, SoftBank продемонстрировала, что решение AI-RAN достигло производительности 5G операторского класса, используя ресурсы ускорителя для одновременной обработки сетевого трафика и инференса.

Отмечается, что мобильные сети традиционно рассчитаны на обработку пиковых нагрузок и в среднем задействуют только треть аппаратных ресурсов, что позволяет монетизировать оставшиеся две трети путём предоставления ИИ-сервисов. NVIDIA и SoftBank также сообщили, что с помощью ПО NVIDIA AI Enterprise японская компания будет создавать локализованные безопасные ИИ-сервисы.

Supermicro, по данным UDN, лишилась заказа от индонезийской YTL Group (YTLP) на поставку новейших суперускорителей NVIDIA GB200 NVL72 для одного из крупнейших в Юго-Восточной Азии ИИ-суперкомпьютеров. Изначально заказ YTL был поделен между Supermicro и Wiwynn (Wistron), но теперь поставками будет заниматься только Wiwynn.

В начале ноября появилась информация о том, что NVIDIA начала менять цепочку поставок, перенаправляя чипы, предназначавшиеся Supermicro, другим вендорам. В последнее время Supermicro была третьим по величине партнёром NVIDIA по объёму закупок чипов. Supermicro, по слухам, остановила расширение двух заводов в Малайзии, которые должны были удвоить её производственные мощности до 10 тыс. полностью укомплектованных стоек с СЖО в месяц.

Остановка строительства заводов негативно сказалась на планах YTL Group, крупного покупателя ИИ-серверов NVIDIA и одного из крупнейших клиентов Supermicro. YTL намерена за $4,3 млрд построить кампус ЦОД площадью более 660 га в Джохоре (Малайзия) и разместить там самый производительный в стране или даже регионе ИИ-суперкомпьютер (300 Эфлопс). По данным UDN, YTL вынужденно передала заказ тайваньской Wywinn. Последняя также владеет современным производством в Малайзии, которое недавно было расширено.

Крупные неприятности у Supermicro начались в августе, когда Hindenburg Research обвинила компанию в различных злоупотреблениях, включая манипуляции с бухгалтерской отчётностью. Впоследствии собственное расследование открыло Министерства юстиции США. Ernst & Young отказалась от аудита Supermicro, а сама компания уже несколько раз откладывала публикацию финансовой отчётности. Всё это привело к резкому падению стоимости акций компании. А сейчас ей и вовсе грозит делистинг с Nasdaq.

Компания Supermicro сообщила предварительные финансовые результаты за I финансовый квартал, закончившийся 30 сентября. После объявления итогов и прогноза, а также сообщения о том, что компания всё ещё не может сказать, когда будет опубликован окончательный отчёт по форме 10-K, который должен был быть представлен 29 августа, акции Supermicro упали на 17 %, пишет CNBC.

Согласно заявлению Supermicro, скорректированная прибыль за I финансовый квартал предварительно составляет 75–76 центов за акцию, что опережает консенсус-прогноз Уолл-стрит в размере 73 цента на акцию. Также ожидается выручка $5,9–$6 млрд, что ниже прогноза аналитиков в $6,44 млрд, но выше показателя аналогичного квартала годом ранее на 181 %. Прогноз Supermicro на II финансовый квартал оказался ниже ожиданий экспертов. Выручка составит $5,5–$6,1 млрд, что ниже средней оценки аналитиков, опрошенных LSEG, в размере $6,86 млрд. Скорректированная прибыль на акцию составит от 56 до 65 центов, тогда как аналитики ожидают 83 цента на акцию.

Акции Supermicro резко упали на прошлой неделе после отказа аудиторской фирмы Ernst & Young работать с компанией. Во время телефонной конференции с аналитиками компания заявила, что не будет обсуждать вопросы, связанные с решением Ernst & Young, а также корпоративным управлением. Гендиректор Чарльз Лян (Charles Liang) сообщил, что Supermicro активно занимается поиском нового аудитора.

Supermicro заявила, что совет директоров сформировал специальный комитет, который возглавил независимый юрист, чтобы изучить обвинения Hindenburg Research. После трёхмесячного расследования комитет пришёл к выводу, что «нет никаких доказательств мошенничества или неправомерных действий» со стороны руководства. «Комитет рекомендует ряд мер по исправлению положения для укрепления функций внутреннего управления и надзора и рассчитывает предоставить полный отчёт о проделанной работе на этой или следующей неделе», — рассказала компания.

Supermicro договорилась с банком Cathay Bank о продлении сроков предоставления финансовой отчётности до конца года. Но фондовая биржа Nasdaq требует от Supermicro под угрозой делистинга предоставить годовой отчёт до 16 ноября, что также отразилось на настроениях инвесторов. Во вторник компания сообщила аналитикам, что «предпримет все необходимые шаги для скорейшего соблюдения требований Nasdaq».

Аналитики задали на телефонной конференции вопрос по поводу возможного изменения планов относительно серверов на базе ускорителей NVIDIA Blackwell, поскольку, по слухам, NVIDIA уже начала менять цепочки поставок, якобы перенаправляя чипы, предназначенные Supermicro, другим производителям. В ответ финансовый директор Дэвид Вейганд (David Weigand) заверил, что у компании очень прочные отношения с чипмейкером, и им ничто не грозит: «Сейчас у нас есть несколько современных проектов в работе, и мы говорили с NVIDIA, и они подтвердили, что не вносили никаких изменений в распределение».

По словам компании, она нарастила производственные мощности в США и теперь готова выпускать 1,5 тыс. стоек с СЖО ежемесячно. У неё уже готов собственный вариант GB200 NVL72, а также 10U- и 4U-варианты серверов с B200 с воздушным и жидкостным охлаждением соответственно. Кроме того, компания готовит новую стойку SuperRack мощностью более 200 кВт, которая разработана совместно с NVIDIA — с СЖО, которая обеспечит PUE близкий к 1,0. Наконец, Supermicro готова к выпуску серверов на базе AMD Instinct MI300X/MI325X и Intel Gaudi3. Также отмечается рост интереса к DCBBS.

Microsoft и CoreWeave являются конкурентами на рынке ИИ-решений, но это не мешает Microsoft быть крупнейшим клиентом стартапа. Затраты Microsoft на аренду серверов у CoreWeave в период с 2023 по 2030 год составят почти $10 млрд, пишет ресурс The Information. Эта сумма больше, чем сообщалось ранее, и составляет более половины от всех имеющихся у CoreWeave контрактов с клиентами в объёме $17 млрд, отметил ресурс, ссылаясь на комментарии компании в ходе общения с инвесторами.

Недавно CoreWeave получила кредитную линию на $650 млн от нескольких инвестиционных банков, включая JPMorgan Chase, Goldman Sachs и Morgan Stanley. До этого CoreWeave за 12 месяцев привлекла $12,7 млрд в виде акционерного и долгового финансирования, включая раунд долгового финансирования на $7,5 млрд в мае. Также компания в августе 2023 года привлекла $2,3 млрд в виде долга под залог ускорителей NVIDIA от ряда инвесторов. Кроме того, в компанию инвестировала и сама NVIDIA.

Источник изображения: CoreWeave

CoreWeave, основанная в 2017 году в Роузленде (штат Нью-Джерси), предоставляет облачный доступ на правах аренды к самым передовым ускорителям NVIDIA в своих 14 ЦОД. К концу года компания планирует открыть ещё 28 ЦОД. Ранее сообщалось о подготовке CoreWeave к первичному публичному размещению ценных бумаг (IPO), которое может пройти в начале 2025 года.

Сама Microsoft стремительно наращивает закупки суперускорителей NVIDIA GB200 NVL нового поколения и намерена агрессивно масштабировать свои вычислительные ресурсы. Причём не только для себя — Microsoft арендует у Oracle ускорители для нужд OpenAI.

Компания DeepL объявила о намерении развернуть вычислительный комплекс на платформе NVIDIA DGX SuperPOD с ускорителями GB200. Система расположится на площадке EcoDataCenter в Швеции, а её ввод в эксплуатацию запланирован на середину 2025 года.

DeepL специализируется на разработке средств автоматического перевода на основе ИИ. По заявлениям Ярека Кутыловски (Jarek Kutylowski), генерального директора и основателя DeepL, компания создала решение, которое по точности перевода превосходит все другие сервисы на рынке. Более 100 тыс. предприятий, правительственных структур и других организаций, а также миллионы индивидуальных пользователей по всему миру применяют языковые ИИ-инструменты DeepL. Штат компании насчитывает более 1 тыс. сотрудников. Её поддерживают инвестициями Benchmark, IVP, Index Ventures и др.

В 2023 году DeepL развернула суперкомпьютер Mercury на базе NVIDIA DGX SuperPOD с ускорителями H100. В июньском рейтинге TOP500 эта система занимает 41-е место с FP64-производительностью 21,85 Пфлопс и теоретическим пиковым быстродействием 33,85 Пфлопс.

Источник изображения: NVIDIA

Платформа NVIDIA DGX SuperPOD с ускорителями GB200 предусматривает использование жидкостного охлаждения. Возможно масштабирование до десятков тысяч ускорителей. DeepL намерена применять новый комплекс для исследовательских задач — в частности, для разработки передовых ИИ-моделей, которые позволят ещё больше расширить возможности средств перевода между различными языками. Это позволит «разрушить языковые барьеры для предприятий и профессионалов по всему миру», обещает компания.

Компания Google объявила о том, что в составе её облачной платформы в скором времени станут доступны инстансы A3 Ultra на базе ускорителей NVIDIA H200. Новые виртуальные машины предназначены для ресурсоёмких нагрузок, связанных с ИИ, включая обучение больших языковых моделей (LLM).

Напомним, в августе 2023 года Google анонсировала инстансы A3 с ускорителями NVIDIA H100. Позднее дебютировали виртуальные машины A3 Mega с поддержкой конфиденциальных вычислений. А до конца текущего месяца клиенты получат доступ к A3 Ultra со значительно более высокой производительностью.

Представленные инстансы построены на серверах с новыми DPU Titanium ML, оптимизированными для высокопроизводительных облачных рабочих нагрузок ИИ. Заявленная пропускная способность RDMA-соединений GPU↔GPU достигает 3,2 Тбит/с (RoCE). Задействована фирменная платформа Google Jupiter с оптической коммутацией.

Источник изображений: Google

По сравнению с A3 Mega виртуальные машины A3 Ultra обеспечивают следующие преимущества:

• Двукратное повышение пропускной способности интерконнекта GPU↔GPU;
• До двух раз более высокая производительность инференса при работе с LLM;
• Возможность масштабирования до десятков тысяч GPU в кластере высокой плотности с оптимизированной производительностью для масштабных задач ИИ и HPC.

Инстансы A3 Ultra будут доступны через Google Kubernetes Engine (GKE). Кроме того, виртуальные машины войдут в состав Hypercompute Cluster — специализированной платформы, объединяющей передовые ИИ-технологии Google Cloud.

Отмечается также, что в начале 2025 года Google развернёт системы на базе NVIDIA GB200 NVL72. Ранее Google демонстрировала собственный вариант этого суперускорителя.