Производитель ИИ-чипов Graphcore провёл раунд финансирования серии E, в ходе которого собрал $222 млн инвестиций. Генеральный директор и соучредитель Graphcore Найджел Тун (Nigel Toon) сообщил ресурсу TechCrunch, что с учётом этого раунда компания получила в общей сложности $440 млн и оценивается в $2,77 млрд.

По его словам, полученные средства компания направит на решение нескольких ключевых задач. Во-первых, благодаря финансированию Graphcore продолжит работу над своей технологией, основанной на архитектуре IPU (Intelligence Processing Unit, интеллектуальный сопроцессор), которая конкурирует с чипами NVIDIA и Intel, тоже оптимизированными для приложений ИИ. Во-вторых, деньги также будут использованы для поддержки финансов Graphcore перед возможным первичным публичным размещением (IPO).

Graphcore

«У нас сильные позиции, чтобы удвоить ставки и быстро расти, а также воспользоваться открывающимися перед нами возможностями», — заявил Найджел Тун. Он отметил, что было бы «преждевременным» считать эту серию E как раунд «перед IPO» и добавил: «У нас достаточно денег, и это даёт нам возможность сделать следующий шаг», всё же намекая на такой вариант. По слухам, в последние недели компания рассматривает возможность проведения IPO не на родине (в Великобритании), а на бирже Nasdaq в США.

В июле Graphcore выпустила второе поколение своего флагманского чипа GC200 и основанную на нём систему IPU Machine M2000, которую компания описывает как первый ИИ-компьютер с одним петафлопсом вычислительной мощности «размером с коробку из-под пиццы».

На саммите RISC-V компания Esperanto представила новый чип, предназначенный для машинного обучения, который содержит 1089 ядер с низким энергопотреблением. Компания Esperanto была создана в 2014 году и за последние несколько лет смогла привлечь $77 млн венчурного капитала, что позволило ей разработать несколько новых чипов на базе архитектуры RISC-V.

Новый 64-бит чип Esperanto ET-SoC-1 будет иметь два комплекта ядер: ET-Maxion, представляющий собой высокопроизводительное решение, и ET-Minion — компактное энергоэффективное решение c векторным/тензорным ускорением операций для машинного обучения.

Модуль расширения OCP Glacier Point v2 с шестью чипами Esperanto ET-SoC-1

Чипы ET-SoC-1 будут выпускаться по 7-нм технологии TSMC, при этом количество транзисторов достигает внушительных 23,8 млрд. До сих пор для рабочих нагрузок ИИ и машинного обучения использовались GPU, которые обладают унифицированными ядрами, однако имеют большое энергопотребление. Решения от Esperanto, как утверждает компания, способны обеспечить больше производительности в пересчете на Вт потребляемой мощности.

ET-Maxion изначально основано на архитектуре процессора Berkeley Out-Of-Order (BOOM) RISC-V с открытым исходным кодом. Хотя Esperanto и планирует значительное расширение архитектуры, преемственность сохраняется, что особенно важно для разработанных решений под данную архитектуру. Esperanto продолжит поддержку репозитория BOOM, однако все расширения технологии будут иметь отдельную платную лицензию.

Ядра ET-Minion разработаны для вычислений с плавающей точкой, он использует 64-битный набор команд RISC-V (in-order), с расширением DSЕ и дополнительными инструкциями для ускорения тензорных и векторных операций, которые могут выполняться параллельно (до 4 потоков).

Готовое решение (SoC) будет включать в себя 16 ядер ET-Maxion RISC-V с кешем L1 и L2, 4096 ядер ET-Minion RISC-V, а также аппаратные ускорители. Решение будет иметь единое адресное пространство между ядрами, обеспечивая согласованную поддержку кеш-памяти. Esperanto уже разработала компилятор для своего решения, которое показало себя более энергоэффективным в сравнении с GPU. Обещана поддержка всех основных фреймворков для машинного обучения.

Не стоит думать, что подобные решения отберут значительную долю рынка у GPU: NVIDIA приобретает Arm и собирается выпускать решения на этой архитектуре, которая может составить достойную конкуренцию RISC-V. А сама ниша подобных специализированных решений уже достаточно насыщена: Xilinx, Mythic, Groc, Intel и многие другие компании выпускают энергоэффективные чипы для ускорения разного типа ИИ-нагрузок.

Генеральный директор AWS Энди Ясси (Andy Jassy) представил во вторник на мероприятии AWS re: Invent 2020 инстансы EC2 с использованием до восьми ИИ-ускорителей Habana Gaudi, способные обеспечит рост производительности до 40 % по сравнению с текущими инстансами EC2 на базе графических процессоров для рабочих нагрузок машинного обучения.

Ускорители Habana Gaudi специально разработаны для тренировки моделей глубокого обучения для рабочих нагрузок, включающих обработку естественного языка, обнаружение объектов, классификацию, системы рекомендаций и персонализации.

Назвав инстансы EC2 на основе Habana Gaudi «идеальными» для таких рабочих нагрузок, AWS заявила, что рост сложности моделей машинного обучения увеличивает время и стоимость обучения ИИ. «Заказчики продолжают искать способы снизить стоимость обучения, чтобы выполнять итерации чаще и улучшать качество своих моделей машинного обучения, — заявила AWS. — Инстансы EC2 на основе Gaudi предназначены для удовлетворения таких потребностей клиентов, обеспечивая экономическую эффективность при тренировке моделей машинного обучения».

При этом экземпляры EC2 на основе Gaudi изначально поддерживают популярные программные платформы, такие как TensorFlow и PyTorch. А с помощью пакета SynapseAI от Habana разработчики смогут легко создавать новые или переносить существующие обучающие модели с графических процессоров на ускорители Gaudi.

Intel приобрела Habana в 2019 году в рамках стратегии по расширению использования искусственного интеллекта, и чтобы расширить портфолио ИИ-ускорителей для облака и центров обработки данных — категории чипов, в которой доминирует NVIDIA. Intel заявила, что это приобретение поможет её переходу к поставкам нового класса систем с XPU, объединяющих процессоры и ускорители с различной компоновкой.

Поиск сходства (Similarity search) в последние годы стал ключевой концепцией в науке, позволяя исследователям анализировать огромные объемы неструктурированных данных, выявляя связи, которые невозможно выявить другими методами. Метод этот очень ресурсоемкий и затратный: для выявления сходства между элементами необходимо проанализировать миллионы или миллиарды записей базы данных, выполняя побитное сравнение. Примером использования подобных методов может служить распознавание лиц, секвенирование ДНК, разработка новых лекарственных препаратов и многое другое.

На данный момент для реализации подобных алгоритмов используются процессоры или графические ускорители, однако они не являются оптимальным решением из-за того, что возникает узкое место между памятью и ядрами процессора или GPU. На CPU алгоритм поиска сходства запускает по одному процессу для каждого ядра, при этом набор данных или его часть считываются в память, а затем ядро ЦП сравнивает каждую запись набора данных с исходным элементом. При поиске схожих изображений база данных может содержать миллиарды записей и поиск занимает достаточно много времени, также не стоит забывать об энергопотреблении серверных процессоров, которые давно перешагнули за отметку в 200 Вт.

С графическими ускорителями дела обстоят несколько лучше: GPU имеет в своем распоряжении тысячи унифицированных ядер, однако они работают недостаточно быстро и поиск похожих элементов все равно занимает значительное время. По словам GSI Technology, ее специализированное решение для алгоритма поиска сходства значительно опережает Intel Xeon и GPU NVIDIA. По сравнению с Intel Xeon специализированный «блок ассоциативной обработки» (APU) Gemini выполняет поиск схожих элементов в 100 раз быстрее, потребляя при этом на 70% меньше электроэнергии.

Архитектура APU Gemini построена таким образом, что вычислительные блоки размещаются вместе с памятью, что позволяет обрабатывать данные параллельно, избегая перемещения данных из памяти в ядро и обратно. Даже в случае оптимизированного обмена с высокоскоростной памятью в GPU, эти накладные расходы все равно оказывают значительное влияние на скорость работы алгоритма.

APU Gemini выпускается в виде карты расширения с интерфейсом PCIe 4.0: на плате размещаются SRAM (Static Random Access Memory) и два миллиона битовых процессоров для вычислений в памяти. GSI совмещает 1-битные блоки обработки информации с линиями чтений-изменения-записи SRAM в одном массивном чипе, причем все 1-битные ядра могут работать параллельно.

Карта GSI обладает двумя блоками SRAM по 96 Мбайт и 16 Гбайт общей памяти. Для сравнения: GPU NVIDIA A100 может обрабатывать 104х4096 бит за тактовый цикл 1,4 ГГц и имеет пропускную способность памяти 7 Тбайт/с, а APU Gemini выполняет два миллиона 1-битных операций за тактовый цикл 400 МГц с пропускной способностью памяти 26 Тбайт/с, имея при этом в разы меньшее энергопотребление.

Решение получилось интересным, однако не нужно забывать о том, что оно очень узкоспециализированное и создано только для одной, пусть и очень ресурсоемкой задачи. Подобные решения все чаще появляются в последние годы из-за внедрения множества алгоритмов ИИ и анализа больших данных, с которыми универсальные процессоры или GPU справляются хуже специализированных решений.

Компания NEC сообщила о том, что с января следующего года заказчикам по всему миру станет доступен акселератор Vector Engine 2.0 серии SX-Aurora TSUBASA, анонсированный ещё летом.

Изделие Type 20B выполнено в виде двухслотовой карты расширения с интерфейсом PCIe. Оно содержит восемь векторных блоков с частотой 1,6 ГГц, обеспечивающих производительность на уровне 2,45 Тфлопс FP64, и 48 Гбайт памяти HBM2 с пропускной способностью приблизительно 1,53 Тбайт/с. При этом энергопотребление находится на уровне 200 Вт. Также есть версия ускорителя Type 20A, которая имеет 10 векторных блоков и производительность 3,07 Тфлопс FP64.

Благодаря векторной архитектуре крупные объёмы данных можно обрабатывать в пределах каждого цикла. Это открывает широкие возможности при решении задач в области искусственного интеллекта, машинного обучения, интенсивных научных вычислений и пр.

Векторный ускоритель Vector Engine 2.0 может использоваться в составе стандартных серверов и рабочих станций с архитектурой х86 от сторонних поставщиков оборудования. Таким образом, заказчики смогут сформировать вычислительную платформу в соответствии со своими требованиями и объёмом финансирования. Данное решение, по словам NEC, ориентировано на предприятия малого и среднего бизнеса, у которых есть потребность в формировании платформы высокопроизводительных вычислений (HPC).

AMD Instinct MI100 — первый ускоритель на базе 7-нм архитектуры CDNA, которая в отличие от RDNA ориентирована на вычисления, а не на графику, хотя и сохраняет некоторые компоненты для рендеринга. Тем не менее, пути RDNA и CDNA окончательно разошлись, и новый ускоритель предназначен исключительно для высокопроизводительных вычислений и ИИ.

Первенец серии MI100 имеет 120 CU, которые содержат новые блоки для матричных операций, которые важны в ИИ-нагрузках. Но работают они не в ущерб «классическим» вычислениям — пиковая FP64-производительность составляет 11,5 Тфлопс, а для FP32 ровно в два раза больше, 23 Тфлопс. Эти показатели выше, чем у NVIDIA A100, и AMD настаивает, что именно такой прирост производительности нужен для запланированного достижения заветной производительности в один экзафлопс.

AMD Instinct MI100

Впрочем, на другом конце спектра, в bfloat16-вычислениях, новинка от AMD проигрывает — 92,3 Тфлопс против 312 Тфлопс на Tensor Core. Прочие приведённые значения производительности для других показателей точности вычислений варьируются. Кроме того, PCIe-версия A100 в силу более низкого энергопотребления на реальных задачах может быть несколько медленнее, чем SXM-версия. А Instinct MI100, пока во всяком случае, доступна только в форм-факторе полноразмерной PCIe-карты с потреблением на уровне 300 Вт.

Карта оснащена 32 Гбайт HBM2-памяти c пропускной способностью 1,23 Тбайт/с, что несколько меньше, чем у PCIe-версии NVIDIA A100: 40 Гбайт HBM2e и 1,555 Тбайт/с соответственно. У обеих карт есть основной интерфейс PCIe 4.0 x16 (64 Гбайт/с) и дополнительная шина для прямого обмена данными между ускорителями. В случае NVIDIA это NVLink (600 Гбайт/с), который для PCIe-версии ограничен только двумя картами, а в случае AMD — это Infinity Fabric (IF).

У MI100 есть три IF-интерфейса с пропускной способностью 92 Гбайт/c (суммарно 276 Гбайт/с), что даёт возможность объединить до четырёх ускорителей, которые могут общаться друг с другом по схеме каждый-с-каждым. Причём оно не зависит от того, по какому интерфейсу, PCIe 3.0 или 4.0, сами ускорители подключены к хосту. Естественно, наиболее оптимальным вариантом для системы в целом будет связка из AMD EPYC и новых MI100.

Основной же козырь AMD, как это зачастую бывало и ранее — это стоимость новинок. Точные цены компания не приводит, но говорит о том, что по показателю производительность на доллар они 1,8-2,1 раза лучше, чем NVIDIA A100. Среди первых систем, для которых сделана валидация новых ускорителей есть Dell PowerEdge R7525, Gigabyte G482-Z54, HPE Apollo 6500 Gen10 Plus, Supermicro AS-4124GS-TNR. Избранные партнёры уже получили новые ускорители и системы на их основе для оценки производительности и адаптации ПО.

Вместе с выходом Instinct MI100 AMD представила и новый мажорный релиз ROCm 4.0, открытой программной платформы для HPC и ИИ. AMD особо отмечает рост производительности, простоту использования и готовность множества программных решений к работе с новым релизом и новым же «железом». И главное — простоту портирования кода на новую платформу, в первую очередь с NVIDIA CUDA. У некоторых разработчиков на это ушло буквально от нескольких часов до одного дня, или до нескольких недель в более сложных случаях.

Новая программно-аппаратная платформа на базе AMD EPYC, Instinct M100 и ROCm 4.0 ляжет в основу грядущих суперкомпьютеров Frontier и Pawsey. А вот будут ли новые машины с MI100 в свежем рейтинге TOP500, мы узнаем уже завтра. Конкуренцию новинкам составят новые же ускорители NVIDIA A100 с удвоенным объёмом памяти HBM2e.

NVIDIA представила новую версию ускорителя A100 с увеличенным вдвое объёмом HBM2e-памяти: 80 Гбайт вместо 40 Гбайт у исходной A100, представленной полгода назад. Вместе с ростом объёма выросла и пропускная способность — с 1,555 Тбайт/с до 2 Тбайт/с.

В остальном характеристики обоих ускорителей совпадают, даже уровень энергопотребления сохранился на уровне 400 Вт. Тем не менее, объём и скорость работы быстрой набортной памяти влияет на производительность ряда приложений, так что им такой апгрейд только на пользу. К тому же MIG-инстансы теперь могут иметь объём до 10 Гбайт. PCIe-варианта ускорителя с удвоенной памятью нет — речь идёт только об SXM3-версии, которая используется в собственных комплексах NVIDIA DGX и HGX-платформах для партнёров.

NVIDIA A100 80 Гбайт

Последним ориентировочно в первом квартале следующего года будут предоставлены наборы для добавления новых A100 в существующие решения, включая варианты плат на 4 и 8 ускорителей. У самой NVIDIA обновлению подверглись, соответственно, DGX A100 POD и SuperPOD for Enterprise. Недавно анонсированные суперкомпьютеры Cambridge-1 и HiPerGator на базе SuperPOD одними из первых получат новые ускорители с 80 Гбайт памяти. Ожидается, что HGX-решения на базе новой A100 будут доступны от партнёров компании — Atos, Dell Technologies, Fujitsu, GIGABYTE, Hewlett Packard Enterprise, Inspur, Lenovo, Quanta и Supermicro — в первой половине 2021 года.

Но, пожалуй, самый интересный анонс касается новой рабочей станции NVIDIA DGX STATION A100, которую как раз и можно назвать настольным «суперкомпьютером». В ней используются четыре SXM3-ускорителя A100 с не требующей обслуживания жидкостной системой охлаждения и полноценным NVLink-подключением. Будут доступны две версии, со 160 или 320 Гбайт памяти с 40- и 80-Гбайт A100 соответственно. Базируется система на 64-ядерном процессоре AMD EPYC, который можно дополнить 512 Гбайт RAM.

Для ОС доступен 1,92-Тбайт NVMe M.2 SSD, а для хранения данных — до 7,68 Тбайт NVMe U.2 SSD. Сетевое подключение представлено двумя 10GbE-портами и выделенным портом управления. Видеовыходов четыре, все mini Display Port. DGX STATION A100 отлично подходит для малых рабочих групп и предприятий. В том числе благодаря тому, что функция MIG позволяет эффективно разделить ресурсы станции между почти тремя десятками пользователей. В продаже она появится у партнёров компании в феврале следующего года.

Вероятно, все выпускаемые сейчас A100 c увеличенным объёмом памяти идут на более важные проекты. Новинкам предстоит конкурировать с первым ускорителем на базе новой архитектуры CDNA — AMD Instinct MI100.

Молодой стартап SimpleMachines представил своё видение ИИ-сопроцессора, анонсировав 16-нм чип под кодовым названием Mozart. Главным его достоинством разработчики считают универсальность.

В разработке ускорителей существует два основных подхода: выбросить из чипа «всё лишнее», сосредоточившись на как можно более быстром выполнении узкого круга задач, либо напротив, сделать процессор достаточно универсальным, но обычно ценой пиковой производительности. Тензорный сопроцессор Groq можно отнести к первой категории решений. Процессор Mozart, по мнению SimpleMachines, сочетает в себе универсальность и производительность, но всё же его можно отнести ко второму типу решений.

Заявка на универсальность выглядит достаточно серьёзно, благо опыт у разработчиков SimpleMachines есть — в состав стартапа входят бывшие исследователи и разработчики из Qualcomm, Intel и Sun Microsystems. К сожалению, данных о внутренней архитектуре Mozart пока немного. Известно лишь, что она достаточно сложна, и чип имеет собственный банк быстрой памяти HBM2. В производстве используется 16-нм техпроцесс TSMC, образцы в виде PCIe-ускорителя уже существуют «в металле», а сам чип имеет ревизию A0.

Универсальность в Mozart достигается за счет продвинутой программной части. Компилятор, созданный SimpleMachines, базируется на концепции композитных вычислений (Composable Computing) и легко интегрируется с существующими ИИ-фреймворками вроде TensorFlow. Но самое интересное то, что речь, похоже, идёт о чипе, чем-то похожем на программируемые логические матрицы (FPGA), поскольку говорится не просто о трансляции ПО, но и о некоей «реконфигурации и оптимизации аппаратной части на лету».

Ведущий разработчик SimpleMachines, Грег Райт (Greg Wright) говорит о поддержке Mozart очень крупных моделей данных и о способности выполнять до 64 различных ИИ-моделей одновременно. В планах компании он указывает разработку к концу 2021 года нового поколения процессоров такого типа на базе 7-нм техпроцесса. Ожидается, что второе поколение Mozart будет в 20 раз производительнее первого.

Новый сопроцессор благодаря своей универсальности может использоваться в самом широком спектре задач искусственного интеллекта и машинного обучения, включая такие сферы, как распознавание и классификация изображений, машинный перевод, системы рекомендаций, сетевая безопасность, обработка графики и даже секвенирование генетических последовательностей.

В качестве основных клиентов для своей платформы SimpleMachines видит крупные ЦОД, компании, связанные с обеспечением сетевой безопасности, а также страховой и финансовый секторы. Платформа будет доступна как в виде физических ускорителей с интерфейсом PCIe, так и в виде облачной услуги Symphony Cloud Service в Azure, Google Cloud и AWS. Рынок ИИ-сопроцессоров быстро растёт и ожидается, что к 2025 году его объём может достигнуть $91 млрд, но насколько хорошо проявит себя на этом рынке концепция, продвигаемая SimpleMachines, покажет время.

В феврале 2019 года IBM Research открыла центр аппаратных средств ИИ (AI Hardware Center) с целью повысить эффективность вычислений ИИ в 1000 раз в течение десятилетия. В течение последних двух лет, как заявляет IBM, ей удаётся соответствовать амбициозной цели: она увеличивает эффективность вычислений в 2,5 раза в год.

Недавно IBM сообщила о двух ключевых достижениях на пути к повышению эффективности ИИ. Во-первых, IBM сделает цифровые ИИ-ядра совместимыми с экосистемой Red Hat OpenShift. Это позволит разрабатывать аппаратное обеспечение IBM параллельно с программным обеспечением Red Hat, так что к моменту выпуска оборудования ПО уже будет в полной готовности.

Во-вторых, IBM и компания Synopsys, занимающаяся автоматизацией проектирования, открывают исходный код комплекта для разработки аналоговых аппаратных ИИ-ускорителей, подчеркивая возможности, которые может предоставить аналоговое оборудование. Набор инструментов Analog AI нацелен на решение проблемы архитектуры фон Неймана, выполняя вычисления непосредственно в памяти.

По словам Мукеша Харе (Mukesh Khare), вице-президента IBM Systems Research, набор инструментов Analog AI будет доступен для стартапов, учёных, студентов и предприятий. «Они все смогут... узнать, как использовать некоторые из этих новых возможностей, которые появляются в процессе разработки. И я уверен, что сообщество сможет придумать даже лучшие способы использования этого оборудования, чем могли бы некоторые из нас», — говорит Харе.

Большую часть этого набора составляют инструменты проектирования, предоставленные Synopsys. Вместе с тем Арун Венкатачар (Arun Venkatachar), вице-президент по искусственному интеллекту и центральному проектированию Synopsys заявил, что IBM и Synopsys вместе работали над аппаратным и программным обеспечением для набора инструментов Analog AI.

Компания Flex Logix анонсировала специализированные ускорители искусственного интеллекта (ИИ), предназначенные для исполнения (инференс) нейронных сетей. В основу изделий положен фирменный чип InferX X1, который, как утверждается, по ряду характеристик превосходит изделия NVIDIA Jetson Xavier NX и Tesla T4.

Решение InferX X1 имеет размеры 21 × 21 мм. В основу положены реконфигурируемые тензорные ядра nnMAX, оптимизированные под периферийные ИИ-вычисления (AI Edge). Рабочая частота в зависимости от модификации варьируется от 533 до 933 МГц. Изделие может работать с оперативной памятью LPDDR4x. Чип содержит 13 Мбайт памяти SRAM. Кроме того, упомянута поддержка интерфейса PCIe Gen 3/4.

Чип InferX X1 стал «сердцем» трёх ускорителей. В частности, представлены карты расширения InferX X1P1 и X1P4 с интерфейсом PCIe х4 и PCIe х8 соответственно. Первая содержит один блок InferX X1, вторая — четыре. Для обоих ускорителей предусмотрено низкопрофильное исполнение. Кроме того, дебютировал акселератор InferX X1M в видем модуля М.2 2280 с интерфейсом PCIe х4.

Цена новинок в зависимости от модификации и рабочей частоты составит от 399 до 999 долларов США. В ближайшее время начнутся пробные поставки, а серийное производство намечено на следующий год.