Британский стартап Graphcore, занимающийся созданием специализированных ИИ-ускорителей, по сообщению Datacenter Dynamics, намерен инвестировать в Индии до $1 млрд в течение следующих 10 лет. При этом в Бангалоре на юге страны будет сформирован кампус для разработки ИИ-решений.

Компания Graphcore, основанная в Бристоле в 2016 году, проектирует ускорители нового класса под названием Intelligence Processing Unit (IPU). Архитектура таких изделий основана на применении особых «тайлов» — это область кристалла, содержащая вычислительную логику и некоторое количество быстрой памяти. В июле прошлого года фирму Graphcore за неназванную сумму приобрела японская холдинговая корпорация SoftBank Group, которая активно развивает направление ИИ.

Как отмечает Graphcore, на базе нового ИИ-кампуса в Индии будут сформированы около 500 новых рабочих мест. Планируется привлекать специалистов в области проектирования логических схем, дизайна, тестирования и пр. Инженеры Graphcore в Бангалоре займутся разработкой передовых ИИ-решений, которые в перспективе помогут в решении глобальных проблем в области общественного здравоохранения, экологической устойчивости и пр.

Источник изображения: Graphcore

Говорится, что с 2015 года SoftBank Group инвестировала в различные инициативы в Индии более $12 млрд. Создаваемая в Бангалоре площадка будет способствовать реализации комплексной стратегии SoftBank Group по трансформации в ведущего мирового поставщика ИИ-платформ. Напомним, японская корпорация участвует в масштабном проекте Stargate по развитию ИИ-инфраструктуры в США: предполагается, что суммарные затраты в рамках данной инициативы достигнут $500 млрд.

Между тем Graphcore заявила о намерении увеличить численность персонала. Ожидается, что в ближайшие два года количество сотрудников в британском представительстве вырастет примерно вдвое, достигнув 750 человек. Речь идёт о привлечении разработчиков чипов и ПО, а также специалистов в сфере ИИ. При этом два года назад состояние компании было не лучшим. Из-за проблем с финансами она закрыла офис в Китае, свернула операции в Норвегии, Японии и Южной Корее, а также сократила пятую часть штата.

Компания Edgecore Networks анонсировала сервер AGS8600 формата 8U, построенный на аппаратной платформе AMD. Устройство, уже доступное для заказа, предназначено для решения ресурсоёмких задач в сферах ИИ, машинного обучения, НРС, научных исследований и пр.

Система несёт на борту два 64-ядерных процессора EPYC 9575F поколения Turin с показателем TDP в 400 Вт. Доступны 24 слота для модулей оперативной памяти DDR5. Во фронтальной части расположены восемь отсеков для SFF-накопителей U.2 (NVMe): базовая конфигурация включает шесть SSD вместимостью 7,68 Тбайт каждый и два SSD на 1,92 Тбайт.

Сервер укомплектован восемью GPU-ускорителями Instinct MI325X с 256 Гбайт памяти HBM3e и производительностью до 2,6 Пфлопс в режиме FP8. Задействованы семь линий Infinity Fabric в расчёте на GPU. В оснащение включены восемь однопортовых сетевых адаптеров BCM957608-P1400GDF00 400G QSFP112-DD PCIe Ethernet NIC. Кроме того, присутствуют два двухпортовых адаптера BCM957608-P2200GQF00 200GbE QSFP112 PCIe Ethernet NIC, выделенный сетевой порт управления 1GbE, контроллер ASPEED AST2600, два порта USB 3.0 и интерфейс D-Sub.

Источник изображения: Edgecore Networks

За возможности расширения отвечают восемь слотов PCIe 5.0 x16 для карт половинной высоты и четыре разъёма PCIe 5.0 x16 для карт полной высоты. Питание обеспечивают шесть блоков мощностью 3300 Вт с сертификатом 80 Plus Titanium. Применена система воздушного охлаждения с 15 вентиляторами, допускающими горячую замену. Габариты составляют 448 × 850 × 351 мм. Диапазон рабочих температур — от +10 до +35 °C.

На сервере используется ОС с ядром Linux. Среди поддерживаемого ПО упомянуты ROCm 6.2.4, RCCL 2.20.5, PyTorch 2.3/2.2/2.1/2.0/1.13, TensorFlow 2.16.1/2.15.1/2.14.1, JAX 0.4.26 и ONNX Runtime 1.17.3.

Компании ZutaCore, Hon Hai Technology Group (Foxconn) и SoftBank объявили о внедрении двухфазной технологии прямого жидкостного охлаждения (DLC) в ИИ-сервер с ускорителями NVIDIA H200. Утверждается, что это первая подобная реализация на рынке.

Двухфазная DLC-система ZutaCore служит для отвода тепла от CPU, GPU, микросхем памяти и других критичных компонентов в серверах. Данное решение по сравнению с традиционными средствами охлаждения позволяет снизить энергопотребление дата-центра и повысить общую эффективность. В результате сокращаются выбросы вредных газов в атмосферу.

Система ZutaCore использует специальную охлаждающую пластину, которая находится в контакте с CPU, GPU и другими элементами сервера с большим тепловыделением. Применяется диэлектрическая жидкость с низкой температурой кипения: при нагреве происходит фазовый переход из жидкого в газообразное состояние. Эффективное охлаждение достигается благодаря многократному испарению и конденсации.

Источник изображений: ZutaCore

При этом температура жидкости может поддерживаться на более высоком уровне, чем в обычных системах с водяным охлаждением, что повышает эффективность отвода тепла, говорится в пресс-релизе. Кроме того, снижается нагрузка на насос, что способствует сокращению энергопотребления. Использование диэлектрического состава предотвращает серьезные повреждения сервера в случае протечки.

В рамках партнёрства Foxconn разработала ИИ-сервер на базе NVIDIA H200 с двухфазной DLC-системой ZutaCore. В свою очередь, SoftBank создала серверную стойку, предназначенную для максимально эффективного охлаждения оборудования посредством двухфазной DLC-технологии. Эта ORv3-стойка совместима с 21″ и 19″ серверами. Источники питания и основная проводка сосредоточены в задней части для обеспечения безопасности эксплуатации и повышения удобства обслуживания.

Через четыре месяца после покупки японским конгломератом SoftBank британский стартап Graphcore, разрабатывающий ИИ-ускорители, занялся наймом новых сотрудников. По данным EE Times, сейчас у компании открыто 75 позиций в сферах разработки и тестирования полупроводников, управления инфраструктурой ЦОД и ИИ-исследований. Всего год назад компания спешно искала финансирование и сокращала персонал.

Сейчас штат Graphcore насчитывает 375 человек, но компания намерена увеличить количество сотрудников на 20 % в Великобритании, Польше и на Тайване. Прочие офисы, включая подразделение в Китае, закрылись. По словам главы Graphcore Найджела Туна (Nigel Toon), компания представляет собой место, где эксперты по полупроводникам, ПО, ИИ и т.п. могут и полностью реализовать себя. Тем не менее, производственные планы бизнеса пока не раскрываются.

Источник изображения: Graphcore

На момент покупки Graphcore имела в своём портфолио три поколения чипов. Однако последнее поколение Bow IPU, выпущенное в 2022 году, по большому счёту являлось апгрейдом продукта второго поколения от 2020 года. Модель имела 892 Мбайт набортной SRAM, дополненной внешней DDR-памятью, а не HBM. Другими словами, теоретически продукт не слишком подходит для обучения больших языковых моделей (LLM). Впрочем, Cerebras тоже использует SRAM в составе своих суперчипов, но последняя дополнена массивами гибридной памяти MemoryX. А SambaNova в SN40L в итоге пришла к сочетанию SRAM, HBM и DDR.

Если Graphcore намерена создать новое поколение ИИ-ускорителей, то она, вероятно, пойдёт по пути SambaNova, считают в EE Times. На это косвенно указывает вакансия инженера ЦОД, для которой желателен опыт работы с жидкостным охлаждением. Также компании требуются специалисты для работы над облачными платформами и инфраструктурой ЦОД. Не исключено, что компания сменит бизнес-модель на манер Groq, продавая не ускорители, а доступ к ИИ-сервисам. Cerebras и SambaNova, например, уже успели по очереди похвастаться производительностью своих инференс-платформ.

В случае Graphcore смещение фокуса на инференс открывает возможности для освоения корпоративных и суверенных ИИ-решений, которых ещё не было, когда последние чипы компании вышли на рынок. Тем не менее, пока нет данных, готов ли SoftBank обеспечить Graphcore достаточными средствами для развития больших ЦОД.

Провайдер облачных и периферийных сервисов Gcore, по сообщению Datacenter Dynamics, осуществил раунд финансирования Series A, в ходе которого на развитие получено $60 млн. Инвестиционную программу возглавил разработчик и издатель игр Wargaming при участии Constructor Capital и Han River Partners.

Gcore была основана в Люксембурге в 2014 году. Компания управляет инфраструктурой, которая позволяет клиентам развёртывать свои рабочие нагрузки ИИ (обучение и инференс) на периферии. Штаб-квартира Gcore находится в Люксембурге, а представительства располагаются в Вильнюсе, Кракове, Белграде, Никосии, Тбилиси, Ташкенте, Маниле, Сеуле и Токио.

На сегодняшний день инфраструктура Gcore объединяет примерно 180 edge-точек на шести континентах и более 25 облачных локаций, а общая пропускная способность сети достигает 200 Тбит/с. В качестве технологических партнёров выступают Intel, Dell, Lenovo, Wallarm, Equinix, Graphcore, Digital-Realty, Wasabi, HP, AMD, Arista и Kentik.

Источник изображения: Gcore

Gcore заявляет, что применяет в составе своей сети новейшее оборудование на процессорах AMD и Intel последнего поколения. Реализованы надёжные средства защиты от несанкционированного доступа и кражи данных. Упомянуты система обнаружения вторжений (IDS), инструменты резервного копирования и восстановления, двухфакторная аутентификация, шифрование AES-128/256, сертифицированные операционные системы.

Полученные в рамках раунда Series A средства будут направлены на дальнейшее расширение платформы Gcore, включая приобретение новых ИИ-серверов на базе ускорителей NVIDIA. Это первое внешнее привлечение капитала с момента основания компании. «Растущий спрос на инфраструктуру ИИ со стороны предприятий малого и среднего бизнеса подчёркивает важность этого финансирования. Мы очень рады поддержке таких инвесторов, как Wargaming, Constructor Capital и Han River Partners», — говорит Андре Райтенбах (Andre Reitenbach), генеральный директор Gcore.

Японская SoftBank, уже владеющая британским разработчиком процессоров Arm, приобрела британскую же компанию Craphcore, занятую разработкой ИИ-ускорителей. По данным The Register, сумма потенциальной сделки не называется, но по некоторым оценкам она составит $600 млн — для сравнения, Graphcore привлекла $700 млн в ходе всех раундов финансирования.

Graphcore официально объявила о сделке в четверг, а её глава Найджел Тун (Nigel Toon) публично одобрил её, подчеркнув, что спрос на ИИ-вычисления сейчас высок и продолжает расти, а SoftBank является тем партнёром для Graphcore, который поможет «изменить ландшафт» ИИ-технологий. Штаб-квартира компании по-прежнему останется в Бристоле.

Ключевые активы компании — ИИ-ускорители Intelligence Processing Units (IPU), а также стек ПО. Хотя вычислительные системы BOW POD16 оказались производительнее NVIDIA DGX A100, процветания в компании не дождались и рассматривали продажу ещё в феврале 2024 года.

Источник изображения: Graphcore

Несмотря на первоначальный успех, бизнес не смог стать прибыльным. В 2022 году выручка составила всего $2,7 млн — на 46 % меньше год к году, операционные расходы составили $206,8 млн. После этого начались увольнения — по словам представителей компании, необходимые для того, чтобы удержать бизнес на плаву. Более того, компания даже стала получать иски.

Сотрудничество с китайскими бизнесами могло бы вывести Graphcore из тупика, но США ограничили продажи высокопроизводительных ускорителей в КНР. Тем временем NVIDIA закрепила своё влияние на рынке решений для генеративных ИИ-систем. Тун прогнозирует, что SoftBank, наконец, даст возможность Graphcore составить конкуренцию лидерам отрасли.

Источник изображения: Graphcore

По словам SoftBank Investment Advisers, новое поколение полупроводников и вычислительных систем имеет чрезвычайное значение для работ над т.н. «общим искусственным интеллектом» (AGI), поэтому SoftBank рада сотрудничать с Graphcore. При этом в SoftBank не акцентируют внимание на том, что компания уже является владельцем контрольного пакета акций британской Arm, на решениях которой строятся многие современные полупроводники. Последняя имеет собственные амбиции и намерена представить альтернативу решениям NVIDIA.

Graphcore предлагает ещё одну альтернативу и уже имеет готовое техническое решение. С учётом финансовых ресурсов SoftBank и связей с Arm, компания, возможно, получит второе дыхание для нового старта. Другими словами, сектор ИИ-инфраструктуры сможет стать более конкурентным, что в любом случае пойдёт на благо покупателей.

Разработчик систем прямого безводного жидкостного охлаждения ZutaCore и провайдер облачных IT-инфраструктур для гиперскейлеров Wiwynn объявили о стратегическом партнёрстве. В рамках соглашения Wiwynn инвестирует средства в ZutaCore с целью ускорения внедрения технологии прямого жидкостного охлаждения HyperCool Direct-On-Chip в дата-центрах, ориентированных на ресурсоёмкие задачи ИИ. Три года назад Wiwynn инвестировала в разработчика погружных СЖО LiquidStack.

Двухфазная система HyperCool с замкнутым контуром способна отводить тепло от самых мощных серверных чипов. При этом используется специальная диэлектрическая жидкость, что позволяет защитить оборудование от коррозии. Отмечается, что экосистема HyperCool продолжает развиваться по мере распространения в ЦОД процессоров и ускорителей следующего поколения, предназначенных для поддержания растущих рабочих нагрузок ИИ и НРС.

Источник изображения: ZutaCore

В числе партнёров, поддерживающих HyperCool, названы AMD, ASUS, Boston Limited, Dell, Equinix, Intel, Pegatron, SuperMicro, UNICOM Engineering, World Wide Technologies (WWT) и др. «Благодаря сотрудничеству с Wiwynn мы можем установить новый стандарт устойчивого развития ИИ в дата-центрах, где энергоэффективность и достижение нулевых выбросов парниковых газов могут сосуществовать со стремительным развитием ИИ», — отмечает Эрез Фрейбах (Erez Freibach), соучредитель и генеральный директор ZutaCore.

Среди ключевых особенностей и преимуществ технологии HyperCool разработчик называет возможность повторного использования тепла, коэффициент PUE на уровне 1,04, отсутствие простоев в работе серверного оборудования в случае утечки охлаждающей жидкости, минимальные затраты на техническое обслуживание, возможность повышения плотности серверов в ЦОД, совместимость с чиплетной архитектурой и поддержку изделий с показателем TDP в 2800 Вт и более.

Японская компания SoftBank Group Corp. ведёт переговоры о приобретении переживающего финансовые проблемы британского Graphcore Ltd., разработчика ИИ-ускорителей IPU, сообщил Bloomberg со ссылкой на информированные источники. По их словам, переговоры длятся уже несколько месяцев, но финансовые условия всё ещё не определены и нет никаких гарантий, что будет достигнуто окончательное соглашение.

В сентябре 2023 года Financial Times сообщала, что SoftBank сделала предварительное предложение о покупке Graphcore, которое стартап отклонил. SoftBank имеет контрольный пакет акций в другом британском разработчике микросхем, Arm Holdings, объявившем в феврале о хороших перспективах расширения своего бизнеса на рынке ИИ-чипов. С тех пор акции Arm выросли примерно на 40 %.

Источник изображения: Graphcore

Основанная в 2016 году компания Graphcore из Бристоля представила в 2020 году серверные ИИ-ускорители IPU (Intelligence Processing Unit). По словам Graphcore, её чипам вполне под силу составить конкуренцию NVIDIA. В числе её инвесторов такие компании, как Samsung Electronics, Bosch и Sequoia Capital. После раунда финансирования в 2020 году стоимость Graphcore оценивалась в $2,8 млрд. Но с тех пор британской компании так и не удалось набрать необходимые обороты и сейчас она активно ищет финансирование, чтобы остаться на плаву на фоне роста убытков из-за сокращения продаж.

Как сообщил в феврале ресурс Bloomberg News, переговоры начались в тот время, когда основатель SoftBank Масаёси Сон (Masayoshi Son) решил запустить собственный проект в сфере ИИ стоимостью до $100 млрд, чтобы бросить вызов NVIDIA. SoftBank притормозила инвестиции в технологический сектор в 2022 году, но в конце 2023 года решила вернуться к заключению новых сделок, делая ставку на ИИ. Масаёси Сон представил это как стратегию, ориентированную на бизнес Arm.

ZutaCore, поставщик систем прямого безводного жидкостного охлаждения объявил о поддержке ускорителей вычислений Nvidia H100 и H200. Решения компании позволяют отводить 1500 Вт и более, что поможет добиться максимальной производительности при обработке нагрузок ИИ. ZutaCore сотрудничает с несколькими производителями серверов с целью тестирования и завершения сертификации этих решений.

Являясь одними из самых высокопроизводительных чипов, H100 и H200 имеют TDP до 700 Вт, что, по словам ZutaCore, стало проблемой для ЦОД, стремящихся контролировать температурный режим, оптимизировать энергопотребление и площади. Технология двухфазного жидкостного охлаждения ZutaCore HyperCool была разработана специально для решения этих проблем и уже доказала свою способность охлаждать самые производительные чипы мощностью 1500 Вт и более, позволяя добиться плотности 100 кВт на стойку.

Источник изображения: ZutaCore

Как отмечает Эрез Фрейбах (Erez Freibach), соучредитель и генеральный директор ZutaCore, высокие требования к охлаждению ускорителей вычислений следующего поколения наиболее эффективно решаются именно с помощью безводных СЖО по схеме direct-to-chip. Благодаря таким СЖО гиперскейлеры не только устраняют риск и огромные расходы, связанные с утечкой воды, но также могут масштабировать потребности в охлаждении практически без изменений в кампусах, системах электропитания или охлаждения.

По словам Питера Руттена (Peter Rutten), вице-президента по исследованиям IDC, в связи с ожидаемым к 2027 году ростом мирового рынка ИИ-серверов до $49 млрд, объявление ZutaCore о поддержке ускорителей следующего поколения является «важной вехой в отрасли».

Облачный провайдер HyperAI из Нидерландов обвинил Graphcore в обмане, поскольку британский разработчик ИИ-чипов сначала отказался от прежних обязательств, а потом и вовсе заявил, что никогда ничего не продавал HyperAI. Как сообщил порталу Datacenter Dynamics представитель HyperAI, ситуация дошла до абсурда, поэтому компания обратилась в суд. Graphcore, испытывающая финансовые трудности, отметила, что не комментирует незавершённые судебные разбирательства, но решительно отрицает претензии HyperAI.

HyperAI, занимающаяся предоставлением облачных услуг в Европе, впервые обратилась к Graphcore в феврале 2021 года, посчитав, что её ИИ-ускорители BoW IPU сравнимы с продуктами NVIDIA, а в некоторых отношениях даже превосходят их. В апреле 2022 года появилась официальная информация о том, что HyperAI заказала комплекс Graphcore BOW POD16. Фактически система была поставлена только в августе, однако Graphcore неправильно настроила её, в результате чего HyperAI не могла осуществить официальный запуск сервиса до декабря 2022 года.

Изображение: Graphcore

В январе 2023 года отношения компаний ухудшились. Менеджер по продажам Graphcore потребовал объяснить, почему HyperAI называет себя облачным партнёром Graphcore, если у последней уже есть эксклюзивный партнёр в Европе — Gcore. В HyperAI считают, что со времён самых первых контактов был очевиден облачный профиль бизнеса компании и никто из Graphcore никогда не говорил, что такие заявления могут вызвать проблемы. Об эксклюзивном европейском партнёрстве с Gcore компании также никто не сообщал.

Позже выяснилось, что вице-президент по продажам Graphcore, который был руководителем упомянутого менеджера, перешёл в Gcore. В Graphcore сначала попытались сгладить ситуацию, но позже заявили, что, возможно, не смогут обеспечить полноценную техническую поддержку из-за сокращения штата. В конце концов компания сообщила, что не будет общаться с HyperAI без адвоката. Более того, Graphcore неожиданно заявила, что не продавала комплекс BOW POD16, а HyperAI сама приобрела некоторые комплектующие у некой третьей стороны.