Материалы по тегу: tenstorrent

03.12.2024 [13:59], Руслан Авдеев

Разработчик ИИ-чипов Tenstorrent привлёк $693 млн в раунде финансирования серии D

Стартап Tenstorrent, занятый разработкой ИИ-ускорителей, привлёк $693 млн в рамках раунда финансирования серии D — спрос на инвестиции превысил предложение. По данным EE Times, участвовали как финансовые, так и стратегические инвесторы, а предварительная оценка компании до раунда составила $2 млрд. Раунд возглавили Samsung Securities и AFW Partners, к ним присоединились новые инвесторы, включая XTX Markets, LG Electronics, Hyundai Motor Group и Bezos Expeditions.

В августе 2024 года конкурент стартапа — компания Groq привлекла $640 млн. До этого казалось, что инвестиционный климат для разработчиков ИИ-чипов стал не лучшим, частично из-за того, что у стартапов не получилось отвоевать сколько-нибудь значимую долю рынка у лидера — компании NVIDIA. Хотя индустрия ИИ-чипов — весьма оживлённый рынок, инвесторы, по словам Tenstorrent, ведут себя весьма осторожно. Разрабатываемые продукты имеют значение лишь отчасти, немалое внимание уделяется команде (а в Tenstorrent работает легендарный Джим Келлер), планам и другим факторам.

 Источник изображения: Ruthson Zimmerman/unsplash.com

Источник изображения: Ruthson Zimmerman/unsplash.com

Средства помогут внедрению и продвижению Tenstorrent не только ускорителей, но и IP-блоков и систем. В компании заявляют, что не рассчитывали привлечь столько денег, но желающих инвестировать оказалось больше, чем ожидалось, причём некоторые инвесторы носят «стратегический» характер для компании.

Теперь Tenstorrent планирует увеличить штат с 600 до около 700 сотрудников. На сегодня компания закрыла сделки в общей сложности на сумму около $150 млн. В основном речь идёт о продаже лицензий компаниям вроде LG Electronics и BOS Semiconductor. Утверждается, что компания продолжит лицензирование интеллектуальной собственности, будет предлагать услуги по разработке полупроводников «на сторону» и, конечно, намерена увеличить продажи своих ускорителей. Новый ускоритель Tenstorrent Blackhole должен появиться уже в начале 2025 года.

В компании подчёркивают, что клиенты и инвесторы очень ценят open source проекты Tenstorrent — столько денег, выпуская проприетарное ПО, привлечь бы не удалось. NVIDIA навязывает собственную проприетаруню программную платформу CUDA. Именно она считается препятствием для молодых производителей ИИ-чипов, поскольку CUDA повсеместно распространена, что затрудняет переход на альтернативные решения. В открытом ПО особенно заинтересованы разработчики решений для транспорта и робототехники, поскольку в этих сферах строгие стандарты безопасности и контроль над каждой строчкой кода важен.

Постоянный URL: http://servernews.ru/1114870
20.07.2024 [21:45], Владимир Мироненко

Tenstorrent начала продажи ИИ-ускорителей Wormhole и рабочие станции на их основе

Канадский стартап Tenstorrent приступил к выпуску ИИ-чипов Wormhole. В настоящее время стартап предлагает построенные на них ИИ-ускорители Wormhole n150 и n300, а также рабочие станции TT-LoudBox и TT-QuietBox на их базе.

ИИ-ускорители Wormhole n150 и n300 представляют собой двухслотовые FHFL-карты (PCIe 4.0 x16): n150 с одним чипом Wormhole, n300 — с двумя. Wormhole n150 и n300 имеют пассивное охлаждение и теплопакет 160 Вт и 300 Вт соответственно. Процессоры Wormhole были разработаны в 2021 году, но их внедрение происходит только сейчас. Это второе поколение ИИ-ускорителей Tenstorrent, которые придут на смену Grayskull.

 Источник изображений: Tenstorrent

Источник изображений: Tenstorrent

Wormhole n150 оснащён 72 ядрами Tensix, каждое из которых включает пять ядер RISC-V, поддерживающих различные форматы данных, и 108 Мбайт SRAM — вместе они предоставляют до 262 Тфлопс (FP8). Ускоритель также оснащён 12 Гбайт памяти GDDR6 с ПСП 288 Гбайт/с. У Wormhole n300 таких ядер 128, а частота также равна 1 ГГц. Объём SRAM составляет 192 Мбайт, а внешняя подсистема памяти включает 24 Гбайт GDDR6 с ПСП 576 Гбайт/с. Ускоритель обеспечивает производительность до 466 Тфлопс (FP8).

RISC-V ядра Tensix обладают аппаратной и программной поддержкой вертикального и горизонтального масштабирования — объединения множества ядер в единое целое как внутри одного узла, так и за его пределами с другими ядрами Tensix на нескольких чипах Wormhole. Именно эта функциональность, как надеется Tenstorrent, позволит ей отобрать долю рынка у NVIDIA. Впрочем, стоимость новинок тоже невелика: Wormhole n150 предлагается по цене $999, а n300 — за $1399.

В рабочих станциях Tenstorrent четыре Wormhole n300 могут работать как один ускоритель, который с точки зрерния ПО выглядит как единый массив ядер Tensix. Впрочем, можно отдать по одному ускорителю каждому пользователю или же одновременно обрабатывать восемь разных ИИ-моделей, причём всё это без использования виртуализации.

В состав рабочей станции TT-LoudBox помимо четырёх ускорителей n300 (суммарно восемь чипов Wormhole) входят два восьмиядерных процессора Intel Xeon 4309Y (Ice Lake-SP), 512 Гбайт RAM, NVMe-хранилище ёмкостью 4 Тбайт и пара портов 10 GbE. TT-LoudBox уже поступила в продажу по цене $12 тыс.

Рабочая станция TT-QuietBox оснащена четырьмя Wormhole n300 и 16-ядерным AMD EPYC 8124P (Siena). Для отвода тепла от компонентов используется жидкостное охлаждение, а остальные характеристики идентичны TT-LoudBox. Устройство доступно для предзаказа по цене $15 тыс. с поставкой в течение 8–10 недель.

Постоянный URL: http://servernews.ru/1108260
15.03.2024 [22:43], Алексей Степин

Tenstorrent под руководством Джима Келлера представила свои первые ИИ-ускорители Grayskull на базе RISC-V

Канадский разработчик микрочипов Tenstorrent, возглавляемый легендарным Джимом Келлером (Jim Keller), наконец, представил свои первые решения на базе архитектуры RISC-V — ИИ-процессоры Grayskull и ускорители на их основе, Grayskull e75 и e150. Оба варианта доступны для приобретения уже сейчас по цене $599 за младшую версию и $799 за старшую. Данные решения предназначены для инференс-систем, разработки и отладки ПО.

В комплект разработчика входят инструменты TT-Buda и TT-Metalium. В первом случае речь идёт о высокоуровневом стеке, предназначенном для компиляции и запуска ИИ-моделей на аппаратном обеспечении Tenstorrent, а во втором — о низкоуровневой программной платформе, обеспечивающей прямой доступ к аппаратным ресурсам. Поддерживается PyTorch, ONNX и другие фреймворки. Создатели делают особенный упор на простоте программирования в сравнении с классическими GPU. Поддерживается широкий спектр ИИ-моделей, но Tenstorrent особенно выделяет BERT, ResNet, Whisper, YOLOv5 и U-Net.

 Источник изображений здесь и далее: Tenstorrent

Источник изображений здесь и далее: Tenstorrent

Архитектура Grayskull базируется на RISC-V, в настоящий момент максимальное количество фирменных ядер Tensix достигает 120, работают они на частотах вплоть до 1,2 ГГц. Каждое такое ядро содержит пять полноценных ядер RISC-V, блок тензорных операций, блок SIMD для векторных операций, а также ускорители сетевых операций и сжатия/декомпрессии данных. Дополнительно каждое ядро может иметь до 1,5 Мбайт сверхбыстрой памяти SRAM. Между собой ядра общаются напрямую.

В случае Grayskull e150 процессор работает в полной конфигурации со 120 ядрами и 120 Мбайт SRAM, объём внешней памяти LPDDR4 составляет 8 Гбайт (ПСП 118,4 Гбайт/с). Ускоритель выполнен в формате полноразмерной платы расширения с теплопакетом 200 Вт и интерфейсом PCIe 4.0 x16. У младшей модели, Grayskull e75, активных ядер только 96, их частота снижена до 1 ГГц, а пропускная способность внешней памяти при том же объёме снижена до 102,4 Гбайт/с. При этом теплопакет составляет всего 75 Вт, что позволило выполнить ускоритель в виде низкопрофильной платы расширения и обойтись без дополнительного питания.

Чипы Wormhole тоже используют Tensix. В составе Wormhole n300 таких ядер 128 (2 × 64), частота равна 1 ГГц при теплопакете 300 Вт. Объём SRAM составляет 1,5 Мбайт на ядро, а внешняя подсистема памяти включает 24 Гбайт GDDR6 и с ПСП 576 Гбайт/с. Wormhole n150 оснащены 72 ядрами Tensix, 108 Мбайт SRAM и 12 Гбайт GDDR6 с ПСП 288 Гбайт/с. TDP составляет 160 Вт. От Grayskull эти решения отличаются возможностью масштабирования путём прямого объединения плат. Также есть по паре сетевых интерфейсов 200GbE. Возможна работа с форматами FP8/16/32, TF32, BFP2/4/8, INT8/16/32 и UINT8.

Чипы Tenstorrent Grayskull и Wormhole лежат в основе уникальных масштабируемых платформ собственной разработки — AICloud и Galaxy. В первом случае используются процессоры Grayskull, поскольку Wormhole на рынке должен появиться позже. Платформа предназначена в качестве аппаратной для ИИ и HPC-нагрузок в облаке Tenstorrent.

Каждый 4U-узел AICloud высотой содержит восемь карт (16 чипов) и способен предоставить в распоряжение пользователей от 30 до 60 vCPU и от 256 до 1024 Гбайт памяти, вкупе с дисковым пространством объёмом 100–400 Гбайт. Восемь таких узлов составляют стойку, а четыре стойки — кластер Server Pod. Четыре таких кластера объединены общей системой интерконнекта, управления и СХД (до 200 Тбайт), дальнейшее масштабирование уже выходит на уровень ЦОД.

В Tenstorrent Galaxy упор сделан на возможность создания высокопроизводительных ИИ-систем с быстрым интерконнектом на базе Ethernet. Строительным блоком здесь являются 80-ядерные модули Wormhole. 4U-сервер вмещает 32 таких модуля, что в совокупности даёт 2560 ядер Tensix и 384 Гбайт глобально адресуемой GDDR6. Наличие 16 каналов 200GbE в каждом модуле обеспечивает производительность интерконнекта на уровне 3,2 Тбитс.

На уровне стойки высотой 48U это дает 256 чипов Wormhole, общий объём SRAM в этом случае достигает 30,7 Гбайт, а GDDR6 — 3 Тбайт. Производительность стойки оценивается разработчиками в 20 Попс (Петаопс), а совокупная скорость интерконнекта — в 76,8 Тбит/с. Расплатой за универсальность и производительность станет энергопотребление, достигающее 60 КВт.

Постоянный URL: http://servernews.ru/1101734
07.04.2023 [14:36], Сергей Карасёв

Tenstorrent и Bodhi Computing займутся развитием экосистемы RISC-V в Индии

Канадская компания Tenstorrent, по сообщению HPC Wire, расширит участие в индийской программе Digital India RISC-V (DIR-V) благодаря сотрудничеству с Bodhi Computing — местным разработчиком серверных продуктов и HPC-решений. Речь идёт о создании передовых изделий на основе архитектуры RISC-V и технологий ИИ.

Инициатива DIR-V, поддерживаемая Министерством электроники и информационных технологий Индии, предусматривает разработку современных чипов на базе RISC-V в 2023–2024 гг. Ранее Tenstorrent уже заявляла о намерении заключить соглашения о сотрудничестве с индийскими стартапами с целью продвижения названной архитектуры. Отмечается, что в рамках партнёрства с Bodhi Computing компания Tenstorrent поможет в развитии экосистемы RISC-V в Индии.

 Источник изображения: Tenstorrent

Источник изображения: Tenstorrent

Bodhi Computing будет разрабатывать и поставлять серверное оборудование на основе решений Tenstorrent AI и RISC-V. Ожидается, что заказчиками станут индийские ЦОД, различные предприятия, HPC-платформы, участники телекоммуникационной и автомобильной отраслей. В этих сегментах ожидается быстрый рост в ближайшие годы, а поэтому они открывают огромные возможности для Bodhi Computing и Tenstorrent. В дальнейшем Bodhi Computing планирует расширять присутствие на глобальном рынке.

«Когда я узнал, что Министерство электроники и информационных технологий Индии запустило программу Digital India RISC-V, чтобы создать к 2024 году первый собственный чипсет, я понял, что Tenstorrent должна поддержать инициативу», — сказал Джим Келлер, генеральный директор Tenstorrent. Партнёрство предполагает разработку программного обеспечения и систем для RISC-V и ИИ. При этом Джим Келлер войдёт в совет директоров Bodhi Computing.

Постоянный URL: http://servernews.ru/1084689
27.03.2023 [12:38], Сергей Карасёв

Tenstorrent, возглавляемая Джимом Келлером, займётся созданием чипов RISC-V совместно с индийскими стартапами

Канадская компания Tenstorrent, по информации The Economic Times, намерена заключить соглашения о сотрудничестве с индийскими стартапами с целью разработки микропроцессоров с архитектурой RISC-V. По словам генерального директора Tenstorrent Джима Келлера (Jim Keller), речь, в частности, идёт о строительстве полноценных дата-центров на открытой платформе RISC-V.

Господин Келлер возглавил Tenstorrent в начале 2023 года. До этого он работал в AMD, Apple, Intel и Tesla, а к стартапу присоединился два года назад. Что касается Tenstorrent, то эта молодая компания занимается созданием систем ИИ и машинного обучения, а также производительных процессоров с архитектурой RISC-V. У фирмы есть офисы в США и Канаде, в британском Кембридже, индийском Бангалоре и сербском Белграде.

 Источник изображения: Tenstorrent

Источник изображения: Tenstorrent

Джим Келлер сказал, что он много лет работал с индийскими инженерами и пришёл к выводу, что иногда они проявляют «неоправданный оптимизм». Вместе с тем он отметил, что с удовольствием взаимодействовал с командами из Индии в течение долгого времени. Поэтому дизайнерские центры Tenstorrent в Бангалоре намерены сотрудничать с некоторыми местными стартапами по ряду перспективных проектов.

Министерство электроники и информационных технологий Индии ранее запустило программу Digital India RISC-V (DIR-V) с целью создания современных отечественных чипов с этой архитектурой в 2023–2024 гг. Ожидается, что данная инициатива будет способствовать развитию индийской полупроводниковой отрасли. Ранее в Индии было создано семейство RISC-V чипов Shakti.

Постоянный URL: http://servernews.ru/1084053
Система Orphus