Компания GigaIO, разработчик компонуемой платформы FabreX также поддержала выпуск новых процессоров Intel Xeon. Сертифицированная платформа GigaIO GigaPod на базе Sapphire Rapids показала возросший на 106 % уровень утилизации ускорителей в сравнении с платформой NVIDIA DGX, использующей InfiniBand.

Коммутатор FabreX. Источник здесь и далее: GigaIO

Конфигурация тестовой системы включала в себя сервер на базе Sapphire Rapids, к которому с помощью FarbeX были подключены 16 ускорителей NVIDIA A100. Как показало тестирование, такая конфигурация куда эффективнее использует ресурсы, нежели в случае традиционного подхода, когда ускорители «раскиданы» по нескольким серверам и коммуникация между ними осуществляется посредством высокоуровневой сети вроде InfiniBand.

Интерконнект GigaIO FabreX универсален и поддерживает подключение любых типов устройств в рамках платформы GigaPod

Глава GigaIO отметил, что в классическом варианте уровень загрузки ускорителей может опускаться до 15 %, и это при том, что стоимость мощных ускорителей иногда составляет до 80 % стоимости всей системы. Финальный выигрыш в стоимости GigaPod в версии с процессорами Sapphire Rapids может достигать 30 % в пользу решения GigaIO.

Компонуемая архитектура, продвигаемая GigaIO, существенно эффективнее традиционных: в её основе лежит PCI Express, что гарантирует задержку на уровне менее 1 мкс. По этому показателю FabreX превосходит и InfiniBand, и NVIDIA NVLink. При этом полностью поддерживается DMA.

Программная архитектура FabreX

Платформа FabreX универсальна, она позволяет подключать к системе практически любые компоненты, от GPU до пулов памяти и FPGA, в том числе с CXL. Ещё на SC20 компания продемонстрировала 5U-шасси, вмещающие до 10 ускорителей с интерфейсом PCIe 4.0. Архитектура GigaIO является программно-определяемой и совместима с большей частью современного ПО для управления и распределения нагрузки, в ней реализован набор открытых API Redfish.

Компания GigaIO, один из пионеров в области разработки современных компонуемых сред для ЦОД, кластеров и облачных систем, показала на конференции SC21 свои последние разработки и решения. Компания намерена всего через два года создать универсальную компонуемую платформу, которая позволит на лету собирать сервер любой конфигурации из удалённых SSD, GPU, DPU, FPGA и даже DRAM.

Коммутатор GigaIO FabreX

Использовать в качестве основы такой платформы PCIe-фабрику — идея заманчивая, поскольку эта универсальная, стандартная и используемая сегодня в любых ИТ-системах шина обеспечивает высокую производительность при минимальном уровне задержек. У GigaIO уже есть коммутаторы FabreX с поддержкой PCIe 4.0. А CXL позволит добиться практически идеальной дезагрегации ресурсов. Отдельные стойки будут содержать различные массивы DRAM и SCM, флеш-массивы, ускорители самых разных типов и т.д.

Такие стойки-массивы войдут в общую фабрику FabreX, а уже из неё нужные ресурсы смогут получать как традиционные серверы, так и целые кластеры — технологии GigaIO позволяют крайне гибко разграничивать ресурсы, черпаемые из единого пула и раздавать их разным клиентам в нужных пропорциях. Такой подход напоминает современные облачные системы, к которым может подключиться кто угодно и использовать столько ресурсов нужного типа, сколько надо для данной задачи.

Всё управление траифком берёт на себя FabreX, а в клиентские системы остаётся только установить соответствующие HBA-адаптеры, также разработанные GigaIO. Модули Hydra, показанные компанией в конце 2020 года, обеспечивает пропускную способность до 32 Гбайт/с на слот PCIe 4.0 x16. Для кабельной инфраструктуры FabreX использует стандартные кабели с коннекторами SFF-8644 (возможны как чисто медные варианты, так и активные, с оптическими трансиверами).

К тому же FabreX обеспечивает беспроблемную переброску практически любых протоколов и приложений между любыми узлами, включёнными в сеть — будь то TCP/IP, MPI, NVMe-oF и другие виды трафика. Последним барьером, мешающим достигнуть полной дезагрегации ресурсов GigaIO справедливо считает оперативную память, которая в большинстве систем пока ещё находится на стороне процессоров общего назначения в клиентских серверах. Но в партнёрстве с AMD компания уже работает над этой проблемой.

Попытки вынести оперативную память за пределы серверов снижают производительность даже при использовании RDMA. Однако последние разработки GigaIO для FabreX и интеграция в эту систему стандарта CXL должны позволить использовать истинный прямой NUMA-доступ к памяти, даже если она вынесена за пределы клиентской системы и находится в общем пуле-массиве. Последний барьер к полной дезагрезации ресурсов практически пал.

Таким образом, любой сервер в сети FabreX сможет получить полноценный доступ к любой памяти — соседнего сервера или стойки пула, с минимальным ростом латентности и максимально возможной в рамках PCIe пропускной способностью. Пулинг оперативной памяти с сохранением когерентности кешей, по словам GigaIO, будет реализован в 3 квартале следующего года на базе CXL 1.0. В четвёртом квартале должна появиться поддержка CXL 2.0 с возможностью систем делиться ресурсами памяти между собой, а в начале 2023 года компания планирует внедрить весь спектр возможностей CXL 2.0.

В числе преимуществ FabreX GigaIO также называет использование открытых стандартов, даже собственное ПО GigaIO будет находиться в открытом доступе. Клиенты, уже использующие FabreX, без проблем перейдут на новую версию с CXL, поскольку этот стандарт базируется на PCIe 5.0. Им не потребуется вносить изменения в уже работающие контейнеры, ВМ и прочее ПО, зато они смогут использовать все преимущества FabreX в области дезагрегации ресурсам, включая удалённые пулы DRAM.

Молодая компания GigaIO сообщила о проведении очередного раунда финансирования, в ходе которого привлечено без малого $15 млн. Эти средства планируется направить на дальнейшее развитие бизнеса: различные маркетинговые инициативы, расширение партнёрской сети, поиск новых клиентов и пр.

Фирма GigaIO была основана в 2012 году. Она специализируется на решениях для центров обработки данных. В частности, компания разрабатывает решение FabreX, которое позволяет динамически компоновать вычислительные ресурсы, в том числе графические ускорители.

Здесь и ниже изображения GigaIO

Платформа FabreX даёт возможность более эффективно использовать мощности серверного оборудования. Сгруппированные ресурсы представляются таким образом, как если бы они были сосредоточены внутри одного сервера. На деле же вместо этого используются множественные узлы, соединённые фирменной PCIe-фабрикой.

В ходе первого раунда финансирования в 2018 году (A-round) компания GigaIO привлекла $4,5 млн. Нынешний раунд (B-round) позволил получить $14,7 млн. Процедуру возглавил фонд Impact Venture Capital. Кроме того, в раунде приняли участие Mark IV Capital, Lagomaj Capital, SK hynix и Four Palms Ventures.

GigaIO представила свой высокопроизводительный коммутатор FabreX PCIe 4.0, который был анонсирован ещё в прошлом году. Компания рассказала некоторые подробности об этой новинке на базе решений Microchip для динамического доступа и совместного использования памяти, включая Intel Optane.

GigaIO — небольшой калифорнийский стартап, который конкурирует с такими поставщиками компонуемых архитектур, как DriveScale, Fungible и Liqid. FabreX от GigaIO — это унифицированная архитектура, которая заменяет сети Ethernet и InfiniBand, построенная на основе PCIe. Подобный подход позволяет снизить задержку доступа к данным, поскольку используется единый протокол, без переключения между разными сетями.

Основная проблема существующей архитектуры заключается в том, что подключенные к серверу ресурсы, такие как графические ускорители (GPU), FPGA или память Optane, находятся на своем хост-сервере и могут простаивать большую часть времени, а учитывая их высокую стоимость это просто неприемлемо.

FabreX динамически меняет конфигурацию архитектуры, позволяя подключенным к серверу графическим ускорителям, ПЛИС, ASIC, SoC, сетям, хранилищу и памяти (3D XPoint) совместно использоваться в качестве объединенных ресурсов между разными серверами. Поддерживаются протоколы GDR (GPU Direct RDMA), MPI, TCP/IP и NVMe-over-Fabric. GigaIO поддерживает несколько дополнительных программных средств:

• Slurm (утилита с открытым исходным кодом под Linux для управления ресурсами);
• Функции автоматического планирования ресурсов с помощью Quali CloudShell;
• Запуск контейнеров и виртуальных машин на основе OpenStack с помощью vScaler.

Управление системой построена на базе API Redfish c открытым исходным кодом, которая хорошо себя зарекомендовала в серверных решениях.

FabreX построена на базе чипа Switchtec от Microchip и имеет 24 неблокирующих порта PCIe 4.0 с задержкой менее 110 нс (один из самых низких показателей в отрасли). Каждый порт имеет механизм DMA (прямой доступ к памяти) и обеспечивает скорость передачи данных до 512 Гбит/с на порт в полнодуплексном режиме, а в ближайшее время будет поддерживать до 1024 Гбит/с при использовании PCIe 5.0.

Коммутатор FabreX обеспечивает прямой доступ отдельного сервера к системной памяти всех других серверов в структуре кластера, что на данный момент является уникальной возможностью, заявленной только у решения от GigaIO. Решение от GigaIO востребовано в высокопроизводительных вычислениях (HPC), визуализации и аналитике данных и для систем с ИИ.

Сама идея дезагрегации вычислительных ресурсов не нова, как не нова и идея объединения таких ресурсов в физически разграниченные пулы. Исторически сложившиеся форматы серверного оборудования для таких целей подходят не лучшим образом, но есть способы решения данной проблемы.

Одним из игроков на рынке систем расширения PCI Express и прочих высокоскоростных шин является компания GigaIO и на конференции SC20 она продемонстрировала свою новинку: систему пулинга ускорителей Hydra, полностью поддерживающую стандарт PCI Express 4.0.

Эта компания давно занимается разработкой и созданием систем расширения PCI Express, которые позволяют обойти ограничения на количество слотов и устройств, накладываемые самими физическими параметрами современных серверов. На её счету имеется даже уникальная сетевая технология FabreX, полностью выстроенная на основе PCI Express 4.0. А на конференции SC20 компания представила и первую систему расширения для модульных инфраструктур класса DCI (Disaggregated Composable Infrastructure), способную работать на скоростях, предусмотренных в четвёртой версии стандарта PCIe.

С точки зрения организации сложных вычислительных комплексов DCI удобнее классического подхода, поскольку позволяет не разбрасывать ресурсы плат-ускорителей по отдельным серверам, а сосредоточить их в отдельных физических пулах, соединённых с остальными элементами инфраструктуры посредством стандартной шины PCI Express. В рамках DCI архитектура кластера становится более логичной и простой, что, в том числе, позволяет снизить затраты на его постройку и содержание.

Решения GigaIO используют стандартные кабели и разъёмы SFF-8644

PCI Express не сразу утвердилась в качестве основной системной шины, но сейчас она доминирует практически в любых системах, от x86 до IBM POWER и ARM. Хотя самой массовой версией остаётся PCIe 3.0, все разработки новых устройств закладывают в них поддержку, как минимум, PCIe 4.0, а значит, старые системы DCI уже не способны обеспечить максимальную пропускную способность и могут стать узким местом.

Новая модель GigaIO Hydra, однако, полностью поддерживает спецификации PCI Express 4.0, описывающие передачу данных со скоростью примерно 32 Гбайт/с на слот x16. Физически это модуль в стоечном корпусе высотой 5U, имеющий в своём составе 10 слотов PCIe 4.0, 8 из которых поддерживают установку полноразмерных плат ускорителей. Внешний линк представлен четырьмя разъёмами mini-SAS (SFF-8644), но логически образует два соединения PCIe 4.0 x16. Всё, что требуется от хост-системы — это наличие соответствующего HBA-адаптера.

Хост-адаптер GigaIO с поддержкой PCI Express 4.0

Новинка поддерживает установку любых ускорителей, включая новейшие NVIDIA A100 и AMD Instinct MI100. Все слоты PCIe в системе являются конфигурируемыми и могут работать в режиме peer-to-peer; хост-система может «бронировать» ресурсы ускорителей по мере необходимости. В этом плане Hydra универсальна: заказчик может использовать любое программное обеспечение для создания собственной модульной инфраструктуры. Всё, что делает Hydra, это обеспечивает прозрачное расширение ресурсов PCI Express, теперь уже на новых, более высоких скоростях передачи данных.

В составе нового PCIe-пула GigaIO имеется также система мониторинга и удалённого управления, она работает со стандартным API Redfish. За питание отвечает система из двух БП мощностью 2000 Ватт, опционально поддерживается схема 2+2. Пулы GigaIO Hydra нового поколения будут массово доступны в первом квартале следующего года.

Компания GigaIO, разработчик сетевых систем для центров обработки данных, анонсировала новую сетевую архитектуру, полностью совместимую со спецификациями PCI Express 4.0.

Обычно при проектировании кластерных систем и суперкомпьютеров, в тех случаях, когда требуется обеспечить минимальные задержки или прямой доступ вычислительных узлов к памяти друг друга, используется InfiniBand, современные Ethernet-решения или проприетарные интерконнекты.

Сетевая карта FabreX Gen4

Новая разработка GigaIO, архитектура FabreX Gen4, обеспечивает ещё более впечатляющие характеристики в сравнении с привычными решениями — она позволяет реализовывать полнодуплексные соединения со скоростью до 512 Гбит/с и полностью поддерживает доступ узла к памяти всех других узлов в сети. Латентность при этом измеряется долями микросекунды.

Коммутатор FabreX

Сети FabreX базируются на унифицированной, программно-определяемой инфраструктуре и полностью поддерживают современные технологии виртуализации и контейнеризации, а также NVMe over Fabrics. Обеспечена совместимость с аппаратными компонентами с поддержкой PCI Express 3.0, разумеется, ценой соответствующей потери в скорости. Допустимо даже смешанное использование компонентов PCIe 3.0 и 4.0 в одной сети. Управление сетью реализовано через набор стандартных API Redfish.

GigaIO FabreX использует кабели SFF-8644 (до трёх метро по меди, до 100 метров по оптике)

GigaIO предлагает полный спектр компонентов FabreX: коммутаторы различных уровней, сетевые адаптеры, кабельные компоненты и сопутствующее программное обеспечение. Поставки оборудования FabreX Gen4 должны начаться во втором квартале этого года.