Компания ASUS начала продажи внешнего ИИ-ускорителя UGen300 USB AI, предназначенного для использования с ноутбуками, смартфонами, одноплатными компьютерами и пр. Новинка выполнена в виде USB-брелока, который можно подключать к устройствам с архитектурой x86 и ARM под управлением Linux, Windows и Android.
В основу UGen300 USB AI положен чип Hailo-10H, обеспечивающий ИИ-производительность до 40 TOPS в режиме INT4 и до 20 TOPS на операциях INT8. Объём встроенной памяти LPDDR4-4266 равен 8 Гбайт. Заявленное энергопотребление — 2,5 Вт. Подключение осуществляется через порт USB 3.1 Type-C (10 Гбит/с). Габариты составляют 105 × 50 × 18 мм, масса — 150 г.
Ускоритель даёт возможность локально запускать небольшие LLM, VLM и другие модели генеративного ИИ, снижая зависимость от облачных сервисов. Отсутствие необходимости передачи данных на удалённые серверы повышает уровень кибербезопасности, говорит ASUS. Говорится о совместимости с популярными фреймворками, включая Keras, TensorFlow, TensorFlowLite, PyTorch и ONNX.
Источник изображений: ASUS
Приобрести ИИ-ускоритель UGen300 USB AI можно по ориентировочной цене в $300. Готовится также более доступный вариант изделия, оборудованный 2 Гбайт RAM, однако эта модификация пока недоступна для заказа. Среди потенциальных сфер применения названы обучение навыкам работы с ИИ, создание прототипов различных ИИ-устройств и разработка сервисов с нейросетевыми алгоритмами, такими как компьютерное зрение, обнаружение объектов, классификация изображений и пр.
Источник:
