Компания Firefly Technology, по сообщению ресурса CNX-Software, начала продажи компьютера небольшого форм-фактора AIBox-K3, предназначенного для решения ИИ-задач на периферии: устройство, в частности, подходит для осуществления локального инференса.

В основу новинки положен процессор SpacemiT K3. Чип объединяет восемь 64-бит ядер RISC-V X100 (RVA23) с тактовой частотой до 2,4 ГГц и восемь ИИ-ядер RISC-V A100 с общей производительностью до 60 TOPS на операциях INT4. В состав изделия входит GPU-блок Imagination Technologies BXM4-64-MC1 с поддержкой Vulkan 1.3, OpenCL 3.0 и OpenGL ES 1.1/2.0/3.2. Возможно декодирование материалов H.265, H.264, VP9 в формате до 4K (120 к/с) и кодирование H.265, H.264 в формате 4K (60 к/с).

Объём оперативной памяти LPDDR5-6400 может составлять 8, 16 или 32 Гбайт, вместимость встроенного флеш-модуля UFS 2.2 — 128, 256 или 512 Гбайт. Есть коннектор M.2 2242/2280 для SSD с интерфейсом PCIe 3.0 x4 (NVMe). В оснащение включён двухпортовый сетевой контроллер 1GbE.

Источник изображения: Firefly

Во фронтальной части расположены порт USB 3.0 DRD Type-C (USB 2.0 OTG) и консольный разъём USB Type-C, в тыльной — два порта USB 3.0 Type-A, два гнезда RJ45 для сетевых кабелей, а также интерфейс HDMI 2.0 с возможностью вывода изображения 4K (60 Гц). Питание (9–20 В) подаётся через DC-разъём. Габариты составляют 93,4 × 93,4 × 50,0 мм, масса — около 500 г. Диапазон рабочих температур простирается от -20 до +60 °C. Устройство заключено в корпус из «алюминия промышленного класса».

Утверждается, что компьютер обеспечивает быстродействие более 10 токенов в секунду при локальном запуске ИИ-моделей, насчитывающих до 30 млрд параметров. Говорится о совместимости с Bianbu OS 3.0, Ubuntu 26.04, OpenHarmony, OpenKylin, Fedora, Deepin и пр. Цена начинается с $350 за модификацию с 8 Гбайт ОЗУ и 128 Гбайт флеш-памяти.

Компания Firefly Technology, по сообщению ресурса CNX-Software, выпустила серверы серии CSB1-N10 для построения ИИ-кластеров. Устройства, выполненные в форм-факторе 1U, подходят для дата-центров, периферийных развёртываний и локальных площадок.

В семейство вошли пять моделей: CSB1-N10S1688, CSB1-N10R3588, CSB1-N10R3576, CSB1-N10NOrinNano и CSB1-N10NOrinNX. Узлы систем оснащены соответственно процессором Sophgo Sophon BM1688 (8 ядер, до 1,6 ГГц), Rockchip RK3588 (8 ядер, до 2,4 ГГц), Rockchip RK3576 (8 ядер, до 2,2 ГГц), NVIDIA Jetson Orin Nano (6 ядер, до 1,5 ГГц) и Jetson Orin NX (8 ядер, до 2,0 ГГц).

Первые три из перечисленных узлов комплектуются оперативной памятью LPDDR4 объёмом 8, 16 и 8 Гбайт соответственно, а также флеш-модулем eMMC вместимостью 32, 256 и 64 Гбайт. Варианты Orin оборудованы 8 и 16 Гбайт памяти LPDDR5 и накопителем NVMe SSD на 256 Гбайт.

Все серверы содержат десять вычислительных узлов и дополнительный управляющий узел на чипе RK3588. Присутствует слот для SSD с интерфейсом SATA-3. В оснащение входят по два сетевых порта 10GbE (SFP+) и 1GbE (RJ45), выделенный сетевой порт управления 1GbE, аналоговый разъём D-Sub (1080p60), два порта USB 3.0, а также последовательный порт. Применяется воздушное охлаждение. За питание отвечает блок мощностью 550 Вт. Диапазон рабочих температур — от 0 до +45 °C.

Источник изображения: Firefly

Кластер на базе CSB1-N10S1688 обеспечивает ИИ-производительность до 160 TOPS на операциях INT8. В случае CSB1-N10R3588 и CSB1-N10R3576 это показатель составляет 60 TOPS. Эти три системы поддерживают работу с большими языковыми моделями (LLM), а также фреймворками TensorFlow, PyTorch, PaddlePaddle, ONNX, Caffe. В случае CSB1-N10NOrinNano и CSB1-N10NOrinNX быстродействие достигает 400 и 1000 TOPS. Говорится о поддержке LLaMa3 и Phi-3 Mini, фреймворков TensorFlow, PyTorch, Matlab и др. Цена варьируется от $2059 до $14 709.