Microsoft Brainwave: решение задач ИИ в реальном времени

 

На конференции Hot Chips компания Microsoft раскрыла детали проекта «Brainwave». Слухи и даже некоторая официальная информация об этой разработке ходили давно. Речь идёт об аппаратной платформе для решения задач, связанных с искусственным интеллектом и глубоким машинным обучением. Для этого Microsoft выбрала программируемые матрицы компании Intel (Altera). На базе 14-нм матриц Intel Stratix 10 создан ускоритель, который обещает значительно изменить ландшафт услуг, связанных с интеллектуальной обработкой видео, распознаванием голоса, автопилотами и многими другими сферами, где важны скорость ответа.

Подчеркнём, в компании Microsoft не стали использовать фиксированные решения подобно Google TPU (Tensor Processing Units), NVIDIA Volta или Intel Lake Crest. Выбор был сделан в пользу FPGA-матриц с неизменным мощным процессорным ядром и программируемой областью, архитектуру которой можно менять по необходимости. Это позволяет перепрограммировать ускорители на новый тип данных или на новые алгоритмы обработки данных не меняя «железо» в составе серверов. На весь процесс уйдёт неделя без каких-либо дополнительных затрат на оборудование. В итоге, уверены в Microsoft, на старте можно проиграть конкурентам в пиковой производительности платформы, но в длительной перспективе её подход окажется более выгодным вложением средств.

Ускоритель Microsoft Brainwave

Ускоритель Microsoft Brainwave

Впрочем, проект Microsoft Brainwave интересен другим — это заявленная возможность обрабатывать запросы для ИИ в реальном масштабе времени. Альтернативные платформы для наиболее эффективной работы нейронных сетей требуют пакетной (накопительной) передачи данных. Платформа Microsoft Brainwave эффективно работает в потоковом режиме по мере поступления одиночных запросов и не требует сложной тренировки. Большую модель GRU (Gated Recurrent Unit) Microsoft Brainwave без пакетирования обрабатывает в пять раз быстрее, чем архитектура ResNet-50. Демонстрация опирается на собственный формат Microsoft ms-fp8, который не теряет точности для широкого спектра моделей. Полученная на ускорителе Stratix 10 устоявшаяся производительность достигает 39,5 терафлопс с временем запроса менее одной миллисекунды.

Матрица FPGA Intel Stratix 10

Матрица FPGA Intel Stratix 10

Сейчас специалисты Microsoft разворачивают системы ИИ на базе Brainwave для использования в облачном сервисе Azure. Системы помогут пользователям и партнёрам компании использовать сервис как для обработки запросов, так и для запуска своих моделей нейронных сетей для глубокого обучения, благо ускорители изначально спроектированы с учётом возможности последующей перенастройки.

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.

Источники:

Постоянный URL: https://servernews.ru/957451
Поделиться:  

Комментарии

Система Orphus