Microsoft Azure начинает использование ИИ-ускорителей Graphcore

Компания Graphcore объявила о дальнейшем расширении сотрудничества с Microsoft. Речь идёт о внедрении разработанного этими компаниями интеллектуального сопроцессора (IPU, Intelligence Processing Unit) и использовании его в серверах облачного сервиса Microsoft Azure.

Проведённое партнёрами совместное тестирование образца сервера, укомплектованного восемью акселераторами на базе пары чипов Graphcore C2, показало впечатляющие результаты.

При использовании языковой модели BERT для предварительного обучения нейросетей в течение 56 часов производительность машины с ускорителями Graphcore оказалась в три раза выше в сравнении с обычной системой. Также наблюдалось улучшение латентности. Ускорение обработки естественных языков очень важно для Microsoft, что неудивительно, учитывая растущую популярность облачных платформ и разного рода голосовых и языковых сервисов.

Graphcore позиционирует свою разработку в качестве конкурента GPU, заявляя о 100-кратном превосходстве чипа C2 над классическими графическими процессорами в ряде специфических задач. Помимо самого процессора, компания разработала и специальную шину IPU-Link, позволяющую нескольким платам-ускорителям общаться друг с другом без задержек.

Уже существует договорённость c Dell Technologies и система DSS8440, оснащённая ускорителями Graphcore будет демонстрироваться на конференции SC19.

Архитектура у Graphcore C2 достаточно любопытная. Он содержит 1216 так называемых тайлов, каждый из которых, в свою очередь, состоит из вычислительного ядра и небольшого количества памяти (In-Processor Memory). Этой памяти немного, всего 300 Мбайт на весь чип, но совокупная скорость работы с ней составляет 45 Тбайт/с.

Всего процессор может выполнять 7296 потоков кода параллельно. Скорость работы межпроцессорной шины IPU-Link ‒ 320 Гбайт/с.

Компания разработала для своего детища и соответствующий программный стек ‒ Poplar, который легко интегрируется с такими популярными средствами разработки, как TensorFlow или Open Neural Network Exchange (ONNX). В ближайшее время планируется также внедрение начальной поддержки PyTorch, а полная поддержка ожидается уже в начале 2020 года.