Исследователи из Южной Кореи разработали, как утверждается, первый в мире полупроводниковый ИИ-чип, который обладает высоким быстродействием при минимальном энергопотреблении. Изделие, предназначенное для обработки больших языковых моделей (LLM), основано на принципах, имитирующих структуру и функции человеческого мозга.

В работе приняли участие специалисты Корейского института передовых технологий (KAIST). Утверждается, что при обработке модели GPT-2 новинка по сравнению с ускорителем NVIDIA A100 затрачивает в 625 раз меньше энергии и занимает в 41 раз меньше физического пространства. Таким образом, южнокорейский ИИ-чип теоретически может применяться даже в смартфонах. Чип производится по 28-нм процессу Samsung Electronics.

Источник изображений: KAIST

Отмечается, что обычно для обработки модели GPT-2 требуются ускорители на базе GPU, потребляющие около 250 Вт энергии. Разработанное изделие требует для этого всего от 40 мВт, а его размеры составляют 4,5 × 4,5 мм. Причём на выполнение операций затрачивается только 0,4 с. Чип наделён 552 Кбайт памяти SRAM. Напряжение питания варьируется от 0,7 до 1,1 В. Тактовая частота варьируется в диапазоне 50–200 МГц.

Технология, получившая название C-DNN (Complementary Deep Neural Network) позволяет использовать свёрточные нейронные сети (CNN) и импульсные нейронные сети (SNN), имитирующие процессы, которые задействованы в человеческом мозге при обработке информации. Иными словами, обучение происходит через несколько слоёв нейронных сетей, а потребление энергии варьируется в зависимости от когнитивной нагрузки. Технология минимизирует энергозатраты благодаря использованию DNN для больших входных значений и SNN для меньших. Правда, чип поддерживает максимум INT16.

Утверждается, что C-DNN является первым ускорителем, который может поддерживать распределение рабочей нагрузки CNN/SNN, используя компромисс между производительностью и энергопотреблением. Изделие обеспечивает энергоэффективность на уровне 85,8 TOPS/Вт и 79,9 TOPS/Вт для инференса с наборами данных CIFAR-10 и CIFAR-100 соответственно (VGG-16). Энергоэффективность в случае ResNet-50 составляет 24,5 TOPS/Вт. При обучении чип C-DNN демонстрирует энергоэффективность в 84,5 TOPS/Вт и 16,7 TOPS/Вт для CIFAR-10 и ImageNet соответственно. Результаты получены при напряжении 0,7 В и частоте 50 МГц.

«Нейроморфные вычисления, имитирующие функции мозга, — это технология, которую такие крупные компании, как IBM и Intel, пока по-настоящему не реализовали. Мы гордимся тем, что первыми в мире начали использовать LLM со сверхэффективным нейроморфным ускорением», — говорит руководитель проекта профессора Ю Хой-Джун (Yu Hoi-jun).

Компания BrainChip, по сообщению ресурса CNX-Software, начала приём заказов на компьютер небольшого форм-фактора Akida Edge AI Box, разработанный в партнёрстве с VVDN Technologies. Новинка предназначена для выполнения ИИ-задач на периферии.

В основу положен процессор NXP i.MX 8M Plus Quad с четырьмя ядрами Arm Cortex-A53, функционирующими на тактовой частоте до 1,8 ГГц. В состав чипа входят графические блоки Vivante GC7000UL 3D GPU и Vivante GC520L 2D GPU, а также модуль NPU с производительностью до 2,3 TOPS.

В оснащение мини-ПК включены два нейроморфных чипа BrainChip Akida AKD1000 (интерфейс PCIe) с ядром реального времени Arm Cortex-M4 с тактовой частотой 300 МГц. Они предназначены для ускорения операций, связанных с ИИ и машинным обучением. Объём оперативной памяти LPDDR4 составляет 4 Гбайт. Есть флеш-модуль eMMC вместимостью 32 Гбайт, слот для карты microSD, адаптер Wi-Fi 5 (802.11n/ac; 2,4 и 5 ГГц) и двухпортовый сетевой контроллер 1GbE.

Источник изображения: BrainChip

Возможно кодирование и декодирование видеоматериалов в формате 1080p60 (H.265 и H.264). Предусмотрены разъёмы USB 3.0 Type-A и USB 2.0 Micro-B. Габариты составляют 110 × 110 × 56 мм. Диапазон рабочих температур — от 0 до +50 °C. Применяется программная платформа на базе ядра Linux 6.1. Компьютер предлагается по ориентировочной цене $800.

Университет Западного Сиднея (Австралия) анонсировал проект суперкомпьютера нового типа под названием DeepSouth. Речь идёт о создании нейроморфной машины, способной с высочайшей производительностью имитировать процессы, протекающие в человеческом мозге. Предполагается, что система выведет на новый уровень решение задач в области ИИ и машинного обучения.

Исследователи отмечают, что наш мозг способен обрабатывать эквивалент экзафлопа математических операций в секунду, затрачивая при этом всего около 20 Вт. Вместе с тем традиционные суперкомпьютеры при решении ресурсоёмких ИИ-задач используют компоненты, например, ускорители на базе GPU, которые требуют огромного объёма энергии.

Источник изображения: Университет Западного Сиднея

Как отмечает Datacenter Dynamics, ссылаясь на заявления профессора Андре ван Шайка (André van Schaik), директора Международного центра нейроморфных систем в Университете Западного Сиднея, DeepSouth сможет обеспечить соотношение производительности, энергоэффективности и занимаемой площади, которое невозможно достичь при использовании стандартных CPU и GPU. Ожидается, что нейроморфный суперкомпьютер сможет выполнять около 228 трлн «синаптических операций» в секунду, что по масштабу сравнимо с человеческим мозгом.

В подробности об аппаратном обеспечении системы разработчики пока не вдаются. Говорится лишь, что задействовано коммерчески доступное конфигурируемое оборудование. Ресурсы DeepSouth будут предоставляться дистанционно через специализированный интерфейс, позволяющий описывать нейронные модели и проектировать нейронные сети на Python.

Говорится также, что для DeepSouth предусмотрено использование масштабируемой архитектуры: это позволит адаптировать конфигурацию под те или иные проекты, обеспечивая оптимальную производительность при минимальных энергозатратах. Ввод суперкомпьютера в эксплуатацию запланирован к апрелю 2024 года.

По большей части современные нейросетевые технологии используют ускорители на базе GPU или родственных архитектур как для обучения, так и для инференса. Впрочем, разработчики альтернативных решений не дремлют. В число последних входит компания IBM, недавно сообщившая об успешном завершении испытаний нового нейроморфного процессора NorthPole.

Разработкой чипов, в том или ином виде пытающихся имитировать работу живого мозга, компания занимается давно — чипы IBM TrueNorth второго поколения увидели свет более пяти лет назад. Уже тогда разработчики отошли от традиционных архитектур, отказавшись от понятия памяти как внешнего устройства.

Источник изображений здесь и далее: IBM Research

В итоге TrueNorth получил 400 Мбит (~50 Мбайт) сверхбыстрой интегрированной памяти SRAM (~100 Кбайт на ядро, всего 4096 ядер) и мог эмулировать 1 млн нейронов с 256 млн межнейронных связей. Чип моделировал бинарные нейроны, а вес каждого синапса был закодирован двумя битами.

FPGA (слева) используется только в качестве PCIe-моста

Новый 12-нм нейрочип NorthPole устроен несколько иначе: он состоит из 256 ядер, которые, впрочем, всё так же используют внутреннюю память общим объёмом 192 Мбайт. Дополнительно имеется буфер объёмом 32 Мбайт для IO-тензоров. Каждое из ядер NorthPole за такт способно выполнять 2048 операций с 8-бит точностью вычислений. В режимах 4- и 2-бит точности производительность растёт соответствующим образом. По словам IBM, новый NPU превосходит предшественника в 4000 раз и на частоте 400 МГц мог бы развивать производительность в районе 840 Топс.

Из-за довольно ограниченного объёма памяти NorthPole не подходит для запуска сложных нейросетей вроде GPT-4, но его главное назначение не в этом — чип позиционируется в качестве основы систем машинного зрения, в том числе в системах автопилотов, хирургических роботов и т.п. И в этом качестве новинка, состоящая из 22 млрд транзисторов и имеющая площадь кристалла 800 мм², проявляет себя очень хорошо.

Результаты тестов на эффективность архитектуры NorthPole

Так, в тестах ResNet-50 NorthPole в 25 раз превзошёл по энергоэффективности сопоставимые по техпроцессу GPU, а показатели латентности при этом оказались в 22 раза лучше. В пересчёте на транзисторную сложность IBM говорит о превосходстве даже над новейшими 4-нм решениями NVIDIA. Полные результаты тестирования доступны на science.org.

К сожалению, речь всё ещё идёт об экспериментальном прототипе с довольно грубым по современным меркам 12-нм техпроцессом. По словам исследователей, производительность NorthPole благодаря более совершенным техпроцессам удалось поднять бы ещё в 25 раз. Параллельно IBM ведёт разработки в области ИИ-чипов с элементами аналоговой логики. Достигнутые в рамках 14-нм техпроцесса результаты позволяют говорить об удельной производительности в районе 10,5 Топс/Вт или 1,59 Топс/мм².

«Лаборатория Касперского» анонсировала специализированную платформу для обучения нейронных сетей, исследований в области нейроморфного ИИ, а также создания и запуска решений на основе ИИ-систем следующего поколения. Проект получил название Kaspersky Neuromorphic Platform.

Сообщается, что основными компонентами платформы являются пакет для разработки и исследования импульсных нейронных сетей (SNN Framework) и отечественный нейроморфный процессор «Алтай». Чип проектируется компанией «Мотив НТ». Об инвестициях в эту фирму «Лаборатория Касперского» объявила летом нынешнего года: разработчик защитных решений получил 15-% долю в «Мотив НТ», выкупив по 7,5 % у двух сооснователей компании — Константина Панченко и Валерия Канглера.

Источник изображений: «Мотив НТ»

Чип «Алтай» при решении ИИ-задач предоставляет ряд преимуществ перед обычными процессорами. Ему не нужно обращаться к памяти (или регистрам) и извлекать оттуда данные — вся информация уже хранится в искусственных нейронах. Кроме того, «Алтай» потребляет почти в 1000 раз меньше энергии, нежели традиционные ускорители. Другие достоинства — возможность исполнения произвольных импульсных нейронных сетей, обучение в процессе работы и неограниченная масштабируемость сети.

Компания «Мотив НТ» уже изготовила прототипы процессора «Алтай» по 28-нм технологии, а также создала модуль нейроморфного акселератора на базе чипа и плату (на втором изображении) для установки 16 таких ускорителей. Предполагается, что «Алтай» будет широко применяться для эффективного исполнения нейронных сетей в разных классах интеллектуальных устройств — от Интернета вещей, носимых гаджетов и робототехники до ЦОД и беспилотных систем.

Источник изображений: «Лаборатория Касперского» (здесь и ниже)

Что касается Kaspersky Neuromorphic Platform, то она позволяет создавать и обучать нейронные сети, отслеживать их работу, создавать программные и программно-аппаратные решения для нейроморфных систем ИИ, дообучать разработанные ИИ-модели на вновь поступающих данных, масштабировать модели в зависимости от сложности решаемых задач.

Платформа работает с импульсными нейронными сетями, в которых нейроны асинхронно обмениваются короткими импульсами в ответ на стимулы. В остальное время межнейронные связи неактивны, а поэтому не потребляют энергию.

«Запуск платформы Kaspersky Neuromorphic Platform — важный шаг на пути развития инструментов для работы с технологиями искусственного интеллекта нового поколения. Нейроморфные технологии — это перспективная альтернатива существующим сегодня ресурсоёмким технологиям машинного обучения. За счёт энергоэффективности и высокой адаптивности они позволят не только снизить издержки, но и повысить производительность существующих высокотехнологичных решений», — отмечает «Лаборатория Касперского». 

Компания Intel уже не первый год развивает направление нейроморфных процессоров — чипов, имитирующих поведение нейронов головного мозга. Уже во втором поколении, Loihi II, процессор получил 128 «ядер», эквивалентных 1 млн «цифровых нейронов», однако долгое время этот чип оставался доступен лишь избранным разработчикам Intel Neuromorphic Research Community через облако.

Но ситуация меняется, пусть и спустя пять лет после анонса первого нейроморфного чипа: компания объявила о выпуске платы Kapoho Point, оснащённой сразу восемью процессорами Loihi II. Напомним, что они производятся с использованием техпроцесса Intel 4 и состоят из 2,3 млрд транзисторов, образующих асинхронную mesh-сеть из 128 нейроморфных ядер, модель работы которых задаётся на уровне микрокода.

Источник изображений: Intel Labs

Площадь кристалла нейроморфоного процессора Intel второго поколения составляет всего 31 мм². Судя по всему, активного охлаждения Loihi II не требует: даже в первой реализации в виде PCIe-платы Oheo Gulch кулером оснащалась только управляющая ПЛИС, но не сам нейроморфный чип. В своём интервью ресурсу AnandTech Майк Дэвис (Mike Davies), глава проекта, отметил, что в реальных сценариях, выполняемых в человеческом масштабе времени, речь идёт о цифре порядка 100 милливатт, хотя в более быстром масштабе чип, естественно, может потреблять и больше.

Архитектура и особенности строения Loihi II. По нажатию открывается полноразмерная версия

Новый модуль, по словам компании, способен эмулировать до 1 млрд синапсов, а в задачах оптимизации с большим количеством переменных (до 8 миллионов, эквивалентно количеству «нейронов»), где нейроморфная архитектура Intel очень сильна, он может опережать традиционные процессоры в 1000 раз. Каждое ядро имеет свой небольшой пул быстрой памяти объёмом 192 Кбайт. Шесть выделенных ядер отвечают за управление нейросетью Loihi II; также в составе чипа имеются аппаратные ускорители кодирования-декодирования данных.

Новинка изначально создана модульной: благодаря интерфейсному разъёму несколько плат Kapoho Point можно устанавливать одна над другой. Поддерживаются «бутерброды» толщиной до 8 плат, в деле опробован, однако, вдвое более тонкий вариант, но даже четыре Kapoho Point дают 32 миллиона нейронов в совокупности. Для коммуникации с внешним миром используется интерфейс Ethernet: в чипе реализована поддержка скоростей от 1 (1000BASE-KX) до 10 Гбит/с (10GBase-KR). Размеры каждой платы невелики, всего 4×4 дюйма (102×102 мм).

Платы Kapoho Point позволяют легко расширять нейросеть на базе Loihi II

В отличие от первого поколения Loihi, доступ к которому можно было получить лишь виртуально, через облако, системы на базе Kapoho Point уже доставлены избранным клиентам Intel, и речь идёт о реальном «железе». В число первых клиентов входит Исследовательская лаборатория ВВС США (Air Force Research Laboratory, AFRL), для задач которой такие достоинства Loihi II, как компактность и экономичность являются решающими.

Возможности SDK Lava

Одновременно с анонсом Kapoho Point компания Intel обновила и фреймворк Lava. В отлчиие от SDK первого поколения Nx новая открытая программная платформа разработки сделана аппаратно-независимой, что позволит разрабатывать нейро-приложения не только на платформе, оснащённой чипами Loihi II.

Компания BrainChip сообщила о начале продаж специализированной карты расширения Akida AKD1000, предназначенной для организации периферийных ИИ-вычислений. Цена изделия составляет $499: оно доступно для заказа в количестве до десяти штук.

Сама плата имеет размеры 76 × 40 × 5,3 мм и использует интерфейс PCI Express 2.0 x1. В основу положен одноимённый нейроморфный процессор, дополненный ядром Arm Cortex-M4 (300 МГц). Akida AKD1000 предлагает 1,2 млн нейронов и 10 млрд синапсов. Решение содержит 512 Мбайт памяти LPDDR4-2400 и 128 Мбит флеш-памяти Quad SPI NOR.

Источник изображений: BrainChip

Отмечается, что BrainChip предоставит заказчикам всю необходимую документацию, что позволит системным интеграторам и разработчикам создавать собственные решения на базе ИИ-акселератора. Создание, обучение и тестирование нейросетей осуществляется в среде MetaTF с поддержкой Tensorflow и Keras, а также набором готовых моделей и конвертером CNN-SNN.

На поставку новых карт Akida AKD1000 будет уходить около восьми недель после оформления заказа. Эти сроки будут варьироваться в зависимости от работы логистических цепочек. Впрочем, это временные ограничения, так как, по словам компании, налажено массовое производство. Ранее BrainChip выпустила комплекты разработчика на базе ПК Shuttle и Raspberry Pi

Звучит громко, но это именно так. Лаборатория Air Force Research Laboratory (AFRL) в городе Ром, штат Нью-Йорк, получила в своё распоряжение самый большой в мире компьютер по числу задействованных в системе нейроморфных процессоров IBM TrueNorth. Система представлена полочными компьютерами высотой 4U (7 дюймов) для стандартной серверной стойки. Каждый компьютер располагает 64 процессорами IBM TrueNorth. В пересчёте на человеческие в буквальном смысле единицы измерения мозга — это 64 млн нейронов и 16 млрд синапсов. Всего в стойке может разместиться 512 млн цифровых нейронов. Примерно столько нейронов в коре головного мозга собаки.

AFRL

Система под именем «Blue Raven» на базе IBM TrueNorth для Лаборатории ВВС США представлена пока 64-процессорным решением с общим потреблением 40 Вт. Это, кстати, в 4 раза больше ожидаемого. Аналогичный 16-процессорный компьютер, переданный в 2016 году Ливерморской национальной лаборатории им. Лоуренса, потреблял всего 2,5 Вт или 156 мВт на один процессор. Возможно таким образом была повышена производительность системы, которая при потреблении 70 мВт способна работать с производительностью 46 млрд синаптических операций в секунду.

IBM

По оценкам IBM, работа процессоров TrueNorth с необозначенным датасетом на CIFAR-100 по распознаванию наборов изображений характеризуется производительностью свыше 1500 кадров в секунду с потреблением 200 мВт или свыше 7000 кадров в секунду на ватт. Ускоритель NVIDIA Tesla P4 (Pascal GP104), например, обрабатывает датасет Resnet-50 с производительностью 27 кадров в секунду на ватт.

Структура процессора IBM TrueNorth

Вообще, в Лаборатории AFRL, похоже, работают увлечённые люди. Новым проектом «Blue Raven» руководит тот же человек (Mark Barnell), который несколько лет назад отметился запуском суперкомпьютера Condor Cluster на базе сотен игровых консолей Sony PlayStation 3. Какими расчётами в AFRL будет заниматься суперкомпьютер с «мозгами» не уточняется. Пока учёные будут изучать круг задач, решаемый подобными системами. Ожидается, что принятая на «вооружение» научным отделом ВВС США вычислительная система обеспечит дальнейшее приоритетное развитие технологий в этой стране.