Через четыре месяца после покупки японским конгломератом SoftBank британский стартап Graphcore, разрабатывающий ИИ-ускорители, занялся наймом новых сотрудников. По данным EE Times, сейчас у компании открыто 75 позиций в сферах разработки и тестирования полупроводников, управления инфраструктурой ЦОД и ИИ-исследований. Всего год назад компания спешно искала финансирование и сокращала персонал.

Сейчас штат Graphcore насчитывает 375 человек, но компания намерена увеличить количество сотрудников на 20 % в Великобритании, Польше и на Тайване. Прочие офисы, включая подразделение в Китае, закрылись. По словам главы Graphcore Найджела Туна (Nigel Toon), компания представляет собой место, где эксперты по полупроводникам, ПО, ИИ и т.п. могут и полностью реализовать себя. Тем не менее, производственные планы бизнеса пока не раскрываются.

Источник изображения: Graphcore

На момент покупки Graphcore имела в своём портфолио три поколения чипов. Однако последнее поколение Bow IPU, выпущенное в 2022 году, по большому счёту являлось апгрейдом продукта второго поколения от 2020 года. Модель имела 892 Мбайт набортной SRAM, дополненной внешней DDR-памятью, а не HBM. Другими словами, теоретически продукт не слишком подходит для обучения больших языковых моделей (LLM). Впрочем, Cerebras тоже использует SRAM в составе своих суперчипов, но последняя дополнена массивами гибридной памяти MemoryX. А SambaNova в SN40L в итоге пришла к сочетанию SRAM, HBM и DDR.

Если Graphcore намерена создать новое поколение ИИ-ускорителей, то она, вероятно, пойдёт по пути SambaNova, считают в EE Times. На это косвенно указывает вакансия инженера ЦОД, для которой желателен опыт работы с жидкостным охлаждением. Также компании требуются специалисты для работы над облачными платформами и инфраструктурой ЦОД. Не исключено, что компания сменит бизнес-модель на манер Groq, продавая не ускорители, а доступ к ИИ-сервисам. Cerebras и SambaNova, например, уже успели по очереди похвастаться производительностью своих инференс-платформ.

В случае Graphcore смещение фокуса на инференс открывает возможности для освоения корпоративных и суверенных ИИ-решений, которых ещё не было, когда последние чипы компании вышли на рынок. Тем не менее, пока нет данных, готов ли SoftBank обеспечить Graphcore достаточными средствами для развития больших ЦОД.

Японская SoftBank, уже владеющая британским разработчиком процессоров Arm, приобрела британскую же компанию Craphcore, занятую разработкой ИИ-ускорителей. По данным The Register, сумма потенциальной сделки не называется, но по некоторым оценкам она составит $600 млн — для сравнения, Graphcore привлекла $700 млн в ходе всех раундов финансирования.

Graphcore официально объявила о сделке в четверг, а её глава Найджел Тун (Nigel Toon) публично одобрил её, подчеркнув, что спрос на ИИ-вычисления сейчас высок и продолжает расти, а SoftBank является тем партнёром для Graphcore, который поможет «изменить ландшафт» ИИ-технологий. Штаб-квартира компании по-прежнему останется в Бристоле.

Ключевые активы компании — ИИ-ускорители Intelligence Processing Units (IPU), а также стек ПО. Хотя вычислительные системы BOW POD16 оказались производительнее NVIDIA DGX A100, процветания в компании не дождались и рассматривали продажу ещё в феврале 2024 года.

Источник изображения: Graphcore

Несмотря на первоначальный успех, бизнес не смог стать прибыльным. В 2022 году выручка составила всего $2,7 млн — на 46 % меньше год к году, операционные расходы составили $206,8 млн. После этого начались увольнения — по словам представителей компании, необходимые для того, чтобы удержать бизнес на плаву. Более того, компания даже стала получать иски.

Сотрудничество с китайскими бизнесами могло бы вывести Graphcore из тупика, но США ограничили продажи высокопроизводительных ускорителей в КНР. Тем временем NVIDIA закрепила своё влияние на рынке решений для генеративных ИИ-систем. Тун прогнозирует, что SoftBank, наконец, даст возможность Graphcore составить конкуренцию лидерам отрасли.

Источник изображения: Graphcore

По словам SoftBank Investment Advisers, новое поколение полупроводников и вычислительных систем имеет чрезвычайное значение для работ над т.н. «общим искусственным интеллектом» (AGI), поэтому SoftBank рада сотрудничать с Graphcore. При этом в SoftBank не акцентируют внимание на том, что компания уже является владельцем контрольного пакета акций британской Arm, на решениях которой строятся многие современные полупроводники. Последняя имеет собственные амбиции и намерена представить альтернативу решениям NVIDIA.

Graphcore предлагает ещё одну альтернативу и уже имеет готовое техническое решение. С учётом финансовых ресурсов SoftBank и связей с Arm, компания, возможно, получит второе дыхание для нового старта. Другими словами, сектор ИИ-инфраструктуры сможет стать более конкурентным, что в любом случае пойдёт на благо покупателей.

Японская компания SoftBank Group Corp. ведёт переговоры о приобретении переживающего финансовые проблемы британского Graphcore Ltd., разработчика ИИ-ускорителей IPU, сообщил Bloomberg со ссылкой на информированные источники. По их словам, переговоры длятся уже несколько месяцев, но финансовые условия всё ещё не определены и нет никаких гарантий, что будет достигнуто окончательное соглашение.

В сентябре 2023 года Financial Times сообщала, что SoftBank сделала предварительное предложение о покупке Graphcore, которое стартап отклонил. SoftBank имеет контрольный пакет акций в другом британском разработчике микросхем, Arm Holdings, объявившем в феврале о хороших перспективах расширения своего бизнеса на рынке ИИ-чипов. С тех пор акции Arm выросли примерно на 40 %.

Источник изображения: Graphcore

Основанная в 2016 году компания Graphcore из Бристоля представила в 2020 году серверные ИИ-ускорители IPU (Intelligence Processing Unit). По словам Graphcore, её чипам вполне под силу составить конкуренцию NVIDIA. В числе её инвесторов такие компании, как Samsung Electronics, Bosch и Sequoia Capital. После раунда финансирования в 2020 году стоимость Graphcore оценивалась в $2,8 млрд. Но с тех пор британской компании так и не удалось набрать необходимые обороты и сейчас она активно ищет финансирование, чтобы остаться на плаву на фоне роста убытков из-за сокращения продаж.

Как сообщил в феврале ресурс Bloomberg News, переговоры начались в тот время, когда основатель SoftBank Масаёси Сон (Masayoshi Son) решил запустить собственный проект в сфере ИИ стоимостью до $100 млрд, чтобы бросить вызов NVIDIA. SoftBank притормозила инвестиции в технологический сектор в 2022 году, но в конце 2023 года решила вернуться к заключению новых сделок, делая ставку на ИИ. Масаёси Сон представил это как стратегию, ориентированную на бизнес Arm.

Облачный провайдер HyperAI из Нидерландов обвинил Graphcore в обмане, поскольку британский разработчик ИИ-чипов сначала отказался от прежних обязательств, а потом и вовсе заявил, что никогда ничего не продавал HyperAI. Как сообщил порталу Datacenter Dynamics представитель HyperAI, ситуация дошла до абсурда, поэтому компания обратилась в суд. Graphcore, испытывающая финансовые трудности, отметила, что не комментирует незавершённые судебные разбирательства, но решительно отрицает претензии HyperAI.

HyperAI, занимающаяся предоставлением облачных услуг в Европе, впервые обратилась к Graphcore в феврале 2021 года, посчитав, что её ИИ-ускорители BoW IPU сравнимы с продуктами NVIDIA, а в некоторых отношениях даже превосходят их. В апреле 2022 года появилась официальная информация о том, что HyperAI заказала комплекс Graphcore BOW POD16. Фактически система была поставлена только в августе, однако Graphcore неправильно настроила её, в результате чего HyperAI не могла осуществить официальный запуск сервиса до декабря 2022 года.

Изображение: Graphcore

В январе 2023 года отношения компаний ухудшились. Менеджер по продажам Graphcore потребовал объяснить, почему HyperAI называет себя облачным партнёром Graphcore, если у последней уже есть эксклюзивный партнёр в Европе — Gcore. В HyperAI считают, что со времён самых первых контактов был очевиден облачный профиль бизнеса компании и никто из Graphcore никогда не говорил, что такие заявления могут вызвать проблемы. Об эксклюзивном европейском партнёрстве с Gcore компании также никто не сообщал.

Позже выяснилось, что вице-президент по продажам Graphcore, который был руководителем упомянутого менеджера, перешёл в Gcore. В Graphcore сначала попытались сгладить ситуацию, но позже заявили, что, возможно, не смогут обеспечить полноценную техническую поддержку из-за сокращения штата. В конце концов компания сообщила, что не будет общаться с HyperAI без адвоката. Более того, Graphcore неожиданно заявила, что не продавала комплекс BOW POD16, а HyperAI сама приобрела некоторые комплектующие у некой третьей стороны.

Британский стартап Graphcore Ltd., специализирующийся на ИИ-ускорителях, по слухам, рассматривает продажу бизнеса. Silicon Angle сообщает, что такое решение связано с трудностями конкуренции на рынке, в первую очередь с NVIDIA.

В минувшие выходные в СМИ появилась информация о том, что компания обсуждала потенциальную сделку с крупнейшими технологическими компаниями в попытке получить средства для покрытия больших убытков. Ожидаемая оценка компании — $500 млн. Более того, сделку будут изучать и британские спецслужбы в связи с важностью для национальной безопасности любых вопросов, связанных с ИИ-технологиями. В декабре 2020 года Graphcore привлекла $222 млн инвестиций, капитализация компании на тот момент составляла $2,77 млрд.

Источник изображения: Graphcore

Компания предлагает вычислительные системы BOW-2000 IPU Machine, каждая из которых включает по четыре чипа BOW IPU, которые обеспечивают ИИ-производительность до 1,4 Пфлопс. Чипы разработаны при поддержке TSMC и используются 3D-упаковку WoW (Wafer-on-Wafer). Также доступны кластеры BOW POD, насчитывающие от 16 до 1024 чипов. На момент дебюта сообщалось, что 16-чиповы BOW POD16 более чем в пять раз производительнее NVIDIA DGX A100, но при этом вдвое дешевле.

Хотя на бумаге всё выглядело довольно многообещающе, компания столкнулась с трудностями при реализации своих решений. У Graphcore попросту нет достаточно средств, чтобы выдержать гонку с NVIDIA. По слухам, компания уже вела с инвесторами переговоры по поводу привлечения дополнительных капиталов, но не преуспела. Более того, ожидался и очередной раунд инвестиций в III квартале 2023 года, но никакой информации о нём так и не поступило.

В число потенциальных покупателей Graphcore входят британская Arm, японская Softbank и даже OpenAI. Косвенным свидетельством вероятной продажи служит заявление инвестиционного фонда Chrysalis Investments Ltd., имеющего в Graphcore долю. В декабре фонд заявил, что одна из компаний в его портфолио находится в процессе продажи, а через несколько недель довёл оценочную стоимость Graphcore до $528 млн — обычно такое происходит незадолго до значимых событий.

Британский разработчик ИИ-ускорителей Graphcore вынужден прекратить продажи своей продукции в Китай, а также уволить большую часть своего персонала в этой стране в связи с введением США новых ограничений на поставки в Поднебесную высокопроизводительных чипов и оборудования для их производства, сообщил Bloomberg. Ранее компания выпустила специальную версию ускорителя для клиентов из Китая и Сингапура.

«Недавно обновлённые правила экспортного контроля США означают, что Graphcore, как и другие производители оборудования для ИИ, больше не может продавать системы IPU в Китае. К сожалению, это означает, что мы будем значительно сокращать бизнес-операции в Китае», — сообщил представитель Graphcore в электронном письме ресурсу Bloomberg. Вместе с тем компания отказалась сообщить масштабы сокращения персонала.

Источник изображения: Graphcore

Основанная в 2016 году компания Graphcore одно время считался одним из самых многообещающих стартапов Великобритании. В 2020 году Graphcore привлёк $222 млн инвестиции, после чего его рыночная стоимость выросла до $2,8 млрд. Стартап разрабатывает ускорители ИИ, получившие название Intelligence Processor Units (IPU), а также связанный с ними программный стек Poplar и облачные сервисы IPU. По словам экспертов, в некоторых ИИ-нагрузках чипы Graphcore даже могут быть лучше ускорителей NVIDIA.

Хотя Graphcore является британской компанией, экспортные ограничения США касаются и её, поскольку они распространяются на использование американских инструментов производства и проектирования передовых полупроводников. Graphcore возлагала большие надежды на китайский рынок, особенно после того, как США заблокировали возможность поставок в Китай продвинутых ускорителей NVIDIA. Ранее стартап сообщал о высоком спросе на свои продукты в Поднебесной. На конференции Bloomberg Technology в октябре Найджел Тун (Nigel Toon), гендиректор Graphcore, заявил, что продажи на китайском рынке составляют «возможно, от 20 до 25 %» бизнеса компании.

В 2022 году Graphcore столкнулся с падением выручки год к году на 46 %. При этом убытки стартапа составили $204,6 млн, увеличившись по сравнению с 2021 годом на 11 %. В связи с этим Graphcore свернул операции в Норвегии, Японии и Южной Корее, а также сократил почти четверть штата. В октябре стартап заявил о необходимости привлечения инвестиций для продолжения работы, однако с тех пор никаких новостей об этом не поступало. Как сообщала газета Sunday Times ранее в этом году, один из наиболее известных спонсоров Graphcore компания Sequoia списала стоимость своей доли в стартапе до нуля.

Британская компания Graphcore, специализирующаяся на разработке ИИ-чипов, по сообщению Bloomberg, срочно ищет новое финансирование для продолжения деятельности. Положение Graphcore серьёзно ухудшилось на фоне роста убытков и сокращения выручки.

В 2020 году Graphcore объявила о создании нового класса ускорителей, которые она назвала IPU: Intelligence Processing Unit. Предполагалось, что эти решения составят конкуренцию изделиям NVIDIA, но бизнес с трудом находил поддержку даже в условиях нынешнего бума генеративного ИИ.

Источник изображения: Graphcore

В документации, поданной в Регистрационную палату Великобритании, говорится, что в 2022 году убытки Graphcore до уплаты налогов достигли $204,6 млн. Это на 11 % больше по сравнению с потерями за 2021-й. При этом выручка в годовом исчислении рухнула на 46 % — до $2,7 млн. На фоне ухудшения финансового положения Graphcore, основанная в 2016 году, уже уволила часть сотрудников: численность персонала сократилась на 21 % — до 494 человек. Кроме того, были свёрнуты операции в Норвегии, Японии и Южной Корее.

Около двух лет назад Graphcore привлекла на развитие $222 млн при оценке в $2,8 млрд. Компания являлась одним из самых многообещающих стартапов Великобритании, но сейчас она отчаянно нуждается в деньгах. Graphcore заявляет, что сталкивается с «существенной неопределенностью» относительно того, сможет ли продолжать свою деятельность, если не получит дополнительные средства к маю 2024 года. Компания ведёт переговоры с потенциальными инвесторами, но соглашение пока не достигнуто.

Провайдер облачных и периферийных сервисов Gcore объявил о запуске облачного ИИ-кластера AI Cloud в Ньюпорте (Уэльс, Великобритания). Кластер был построен с использованием ИИ-решений Graphcore Intelligence (IPU) — Graphcore Bow-Pod, IPU-Pod и Bow-vPod, предназначенных для выполнения задач и алгоритмов машинного обучения.

Как сообщает ресурс Data Center Dynamics, во время тестирования производительности Bow Pod16 позволил обучить нейросеть EfficientNET-B4 менее чем за 14 часов, в то время как новейшим GPU для этого требовалось 70,5 часа. Производительность в задачах Dynamic Temporal Graph Network также была в 10 раз выше. Общая производительность этих кластеров ИИ не разглашается.

Источник изображений: Gcore

«Открытие облачного кластера Gcore AI Cloud в Ньюпорте в партнёрстве с Graphcore является важным шагом на пути к созданию одной из первых европейских инфраструктур искусственного интеллекта. Этот шаг позволит компаниям любого размера интегрировать инновации и легко получить доступ к передовым технологиям искусственного интеллекта», — заявил Всеволод Вайнер (Seva Vayner), директор подразделения Edge Cloud Stream компании Gcore.

Новый IaaS обеспечивает доступ к ИИ-оборудованию Graphcore с поминутной оплатой. Gcore AI Cloud также включает целый ряд инструменов, таких как PyTorch, Keras, TensorFlow, Hugging Face, Paddle и ONNX, используемых для поддержки машинного обучения и приложений ИИ. Это третья точка присутствия (PoP) AI Cloud Gcore после Нидерландов и Люксембурга. Всего Gcore имеет точки присутствия в более чем в 140 регионах, а также более чем 20 облачных локаций.

Разработка специализированных ускорителей для задач и алгоритмов машинного обучения в последние несколько лет чрезвычайно популярна. Ещё в 2020 году британская компания Graphcore объявила о создании нового класса ускорителей, которые она назвала IPU: Intelligence Processing Unit. Их архитектура оказалась очень любопытной.

Основной единицей IPU является не ядро, а «тайл» — область кристалла, содержащая как вычислительную логику, так и некоторое количество быстрой памяти с пропускной способностью в районе 45 Тбайт/с (7,8 Тбайт/с между тайлами). В первой итерации чип Graphcore получил 1216 таких тайлов c 300 Мбайт памяти, а сейчас компания анонсировала следующее поколение своих IPU.

Изображения: Graphcore

Новый чип, получивший название BOW, можно условно отнести к «поколению 2,5». Он использует кристалл второго поколения Colossus Mk2: 892 Мбайт SRAM в 1472 тайлах, способных выполнять одновременно 8832 потока. Этот кристалл по-прежнему производится с использованием 7-нм техпроцесса TSMC, но теперь Graphcore перешла на использование более продвинутой упаковки типа 3D Wafer-on-Wafer (3D WoW).

Новый IPU стал первым в индустрии чипом высокой сложности, использующем новый тип упаковки, причём технология 3D WoW была совместно разработана Graphcore и TSMC с целью оптимизации подсистем питания. Процессоры такой сложности отличаются крайней прожорливостью, а «накормить» их при этом не просто. В итоге обычная упаковка не позволяет добиться от чипа уровня Colossus Mk2 максимальной производительности — слишком велики потери и паразитный нагрев.

Реализована 3D WoW во многом аналогично технологии, применённой AMD в серверных чипах Milan-X. Упрощённо говоря, медные структуры-стержни пронизывают кристалл и позволяют соединить его напрямую с другим кристаллом, причём «склеиваются» они друг с другом благодаря. В случае с BOW роль нижнего кристалла отводится распределителю питания с системой стабилизирующих конденсаторов, который питает верхний кристалл Colossus Mk2. За счёт перехода с плоских структур на объёмные можно как увеличить подводимый ток, так и сделать путь его протекания более короткими.

В итоге компании удалось дополнительно поднять частоту и производительность BOW, не прибегая к переделке основного процессора или переводу его на более тонкий и дорогой техпроцесс. Если у оригинального IPU второго поколения максимальная производительность составляла 250 Тфлопс, то сейчас речь идёт уже о 350 Тфлопс — для системы BOW-2000 с четырьмя чипами заявлено 1,4 Пфлопс совокупной производительности. И это хороший выигрыш, полученный без критических затрат.

С внешним миром IPU общается по-прежнему посредством 10 каналов IPU-Link (320 Гбайт/с). Внутренней памяти в такой системе уже почти 4 Гбайт, причём работает она на скорости 260 Тбайт/с — критически важный параметр для некоторых задач машинного обучения, которые требуют всё большие по объёму наборов данных. Ёмкость набортной памяти далека от предлагаемой NVIDIA и AMD, но выигрыш в скорости даёт детищу Graphcore серьёзное преимущество.

Узлы BOW-2000 совместимы с узлами предыдущей версии. Четыре таких узла (BOW POD16) с управляющим сервером — всё в 5U-шасси — имеют производительность до 5,6 Пфлопс. А полная стойка с 16 узлами BOW-2000 (BOW POD64) даёт уже 22,4 Пфлопс. По словам компании, производительность новой версии возросла на 30–40 %, а прирост энергоэффективности составляет от 10 % до 16 %.

Graphcore говорит о десятикратном превосходстве BOW POD16 над NVIDIA DGX-A100 в полной стоимости владения (TCO). Cтоит BOW POD16 вдвое дешевле DGX-A100. К сожалению, говорить о завоевании рынка машинного обучения Graphcore рано: клиентов у компании уже довольно много, но среди них нет таких гигантов, как Google или Baidu. В долгосрочной перспективе ситуация для Graphcore далеко не безоблачна, но компания уже готовит третье поколение IPU на базе 3-нм техпроцесса.

Несмотря на все проблемы в полупроводниковой индустрии, технологии продолжают развиваться. Технологические нормы 7 нм уже давно не являются чудом, вовсю осваиваются и более тонкие нормы, например, 5 нм. А ведущий контрактный производитель, TSMC, штурмует следующую вершину — 3-нм техпроцесс. Одним из первых продуктов на базе этой технологии станет ИИ-платформа Graphcore с четырьмя IPU нового поколения.

Британская компания Graphcore разрабатывает специфические ускорители уже не первый год. В прошлом году она представила процессор IPU (Intelligence Processing Unit), интересный тем, что состоит не из ядер, а из так называемых тайлов, каждый из которых содержит вычислительное ядро и некоторое количество интегрированной памяти. В совокупности 1216 таких тайлов дают 300 Мбайт сверхбыстрой памяти с ПСП до 45 Тбайт/с, а между собой процессоры IPU общаются посредством IPU-Link на скорости 320 Гбайт/с.

Colossально: ИИ-сервер Graphcore с четырьмя IPU на борту

Компания позаботилась о программном сопровождении своего детища, снабдив его стеком Poplar, в котором предусмотрена интеграция с TensorFlow и Open Neural Network Exchange. Разработкой Graphcore заинтересовалась Microsoft, применившая IPU в сервисах Azure, причём совместное тестирование показало самые положительные результаты. Следующее поколение IPU, Colossus MK2, представленное летом этого года, оказалось сложнее NVIDIA A100 и получило уже 900 Мбайт сверхбыстрой памяти.

Машинное обучение, в основе которого лежит тренировка и использование нейронных сетей, само по себе требует процессоров с весьма высокой степенью параллелизма, а она, в свою очередь, автоматически означает огромное количество транзисторов — 59,4 млрд в случае Colossus MK2. Поэтому освоение новых, более тонких и экономичных техпроцессов является для этого класса микрочипов ключевой задачей, и Graphcore это понимает, заявляя о своём сотрудничестве с TSMC.

Тайловая архитектура Graphcore Colossus MK2

В настоящее время TSMC готовит к началу «рискового» производства новый техпроцесс с нормами 3 нм, причём скорость внедрения такова, что первые продукты на его основе должны увидеть свет уже в 2021 году, а массовое производство будет развёрнуто во второй половине 2022 года. И одним из первых продуктов на базе 3-нм технологических норм станет новый вариант IPU за авторством Graphcore, известный сейчас как N3. Судя по всему, использовать 5 нм британский разработчик не собирается.

В планах компании явно указано использование 3-нм техпроцесса

В настоящее время чипы Colossus MK2 производятся с использованием техпроцесса 7 нм (TSMC N7). Они включают в себя 1472 тайла и способны одновременно выполнять 8832 потока. В режиме тренировки нейросетей с использованием вычислений FP16 это даёт 250 Тфлопс, но существует удобное решение мощностью 1 Пфлопс — это специальный 1U-сервер Graphcore, в нём четыре IPU дополнены 450 Гбайт внешней памяти. Доступны также платы расширения PCI Express c чипами IPU на борту.

Дела у Graphcore идут неплохо, её технология оказалась востребованной и среди инвесторов числятся Microsoft, BMW, DeepMind и ряд других компаний, разрабатывающих и внедряющих комплексы машинного обучения. Разработка 3-нм чипа ещё более упрочнит позиции этого разработчика. Более тонкие техпроцессы существенно увеличивают стоимость разработки, но финансовые резервы у Graphcore пока есть; при этом не и исключён вариант более тесного сотрудничества, при котором часть стоимости разработки возьмёт на себя TSMC.