Канадский стартап Tenstorrent анонсировал настольную рабочую станцию TT-QuietBox 2, предназначенную для решения ресурсоёмких задач в области ИИ. Утверждается, что новинка способна поддерживать большие языковые модели, насчитывающие до 120 млрд параметров.
Ключевой составляющей TT-QuietBox 2 являются четыре фирменных ускорителя Blackhole. Каждый из них содержит 16 «больших» ядер RISC-V, 120 ядер Tensix, 210 Мбайт памяти SRAM и 32 Гбайт памяти GDDR6 с пропускной способностью 512 Гбайт/с. Таким образом, в общей сложности задействованы 64 ядра RISC-V, 480 ядер Tensix и 128 Гбайт памяти GDDR6. Рабочая станция также несёт на борту 256 Гбайт памяти DDR5.
Источник изображения: tenstorrent.com
Реализована система жидкостного охлаждения. Питание осуществляется от обычной розетки: производитель подчеркивает, что станции не требуется специально оборудованное помещение или серверная стойка.
На устройстве применяется платформа Ubuntu 24.04; используется полностью открытый программный стек. Заявлена поддержка популярных фреймворков, таких как PyTorch, ONNX и TensorFlow. Суммарная пиковая производительность на операциях ИИ достигает 2654 Тфлопс (BlockFP8). В качестве примера приводится работа с моделью Llama 3.1 70B (70 млрд параметров): быстродействие составляет 476,5 токена/с. А модель Boltz-2 формирует структуру белка из 686 аминокислот за 49 с (на одном чипе Blackhole). Для сравнения, современному процессору для выполнения такой задачи, как утверждается, требуется около 45 мин. Благодаря наличию сразу четырёх ускорителей Blackhole система способна параллельно моделировать структуры нескольких белков.
В продажу станция TT-QuietBox 2 поступит во II квартале нынешнего года по ориентировочной цене $10 тыс.
Источник:
