Канадский стартап Tenstorrent анонсировал настольную рабочую станцию TT-QuietBox 2, предназначенную для решения ресурсоёмких задач в области ИИ. Утверждается, что новинка способна поддерживать большие языковые модели, насчитывающие до 120 млрд параметров.
Ключевой составляющей TT-QuietBox 2 являются четыре фирменных ускорителя Blackhole. Каждый из них содержит 16 «больших» ядер RISC-V, 120 ядер Tensix, 210 Мбайт памяти SRAM и 32 Гбайт памяти GDDR6 с пропускной способностью 512 Гбайт/с. Таким образом, в общей сложности задействованы 64 ядра RISC-V, 480 ядер Tensix и 128 Гбайт памяти GDDR6. Рабочая станция также несёт на борту 256 Гбайт памяти DDR5.
Источник изображения: tenstorrent.com
Реализована система жидкостного охлаждения. Питание осуществляется от обычной розетки: производитель подчеркивает, что станции не требуется специально оборудованное помещение или серверная стойка.
На устройстве применяется платформа Ubuntu 24.04; используется полностью открытый программный стек. Заявлена поддержка популярных фреймворков, таких как PyTorch, ONNX и TensorFlow. Суммарная пиковая производительность на операциях ИИ достигает 2654 Тфлопс (BlockFP8). В качестве примера приводится работа с моделью Llama 3.1 70B (70 млрд параметров): быстродействие составляет 476,5 токена/с. А модель Boltz-2 формирует структуру белка из 686 аминокислот за 49 секунд (на одном чипе Blackhole). Для сравнения, современному процессору для выполнения такой задачи, как утверждается, требуется около 45 минут. Благодаря наличию сразу четырёх ускорителей Blackhole система способна параллельно моделировать структуры нескольких белков.
В продажу станция TT-QuietBox 2 поступит во II квартале нынешнего года по ориентировочной цене $10 тыс.
Источник:
