Материалы по тегу: rdma

04.08.2020 [22:35], Илья Коваль

Очередная попытка «обойти» GPL в Linux: подсистема NetGPU не попадёт в основную ветку ядра

Насколько далеко и глубоко должна распространяться «вирусность» лицензий GPL, вопрос почти философский. В особенности, когда речь идёт о сложных программных комплексах, где от проприетарных разработок, вплотную взаимодействующих с открытыми, избавиться непросто. Для таких случаев придуманы обходные пути, которые нередко пытаются эксплуатировать не слишком корректным образом.

Например, в ядре Linux для проприетарных драйверов принято использовать небольшую прослойку между, которая, по большому счёту, занимается трансляцией обращений драйвера к ядру. Такая прослойка имеет открытый код, так что все необходимые формальности по взаимодействию с остальным кодом под лицензией GPL в Linux соблюдены. Впрочем, противники такого формального подхода появились сразу же после его внедрения.

Масла в огонь подлил недавний набор патчей от одного из инженеров Facebook, реализующий новую подсистему NetGPU, которая сама по себе, к слову, весьма интересна. Она позволяет организовать прямой обмен данными между сетевым адаптером и GPU, оставляя за центральным процессором только обработку протокола. Собственно говоря, на базе этой подсистемы можно сделать достаточно общую реализацию RDMA для обмена данными между GPU или с внешней СХД.

Основная проблема конкретного этого набора патчей в том, что он намертво привязан к проприетарным драйверам NVIDIA, но при этом пытается попасть в основную ветку ядра Linux, куда нужные драйверы, естественно, не входят. Разработчик оправдывает такой шаг тем, что, возможно, когда-нибудь появятся реализации и для открытых драйверов AMD, Intel или той же NVIDIA. Грег Кроа-Хартман (Greg Kroah-Hartman), отвечающий за сопровождение стабильной ветви ядра, предложил автору заручиться подписью юриста и использовать корпоративный адрес, чтобы было понятно, кому потом можно будет переадресовать возможные претензии. Ну а пока NetGPU официальными путями в ядро не попадёт.

Другой известный разработчик Linux, Кристофер Хеллвиг (Christoph Hellwig), знаменитый тем, что когда-то инициировал иск к VMware по поводу возможного нарушения GPL, выразился несколько более грубо, но прямо, назвал автора патчей троллем и в очередной раз предложил навсегда избавиться от подобных прослоек, подготовив свою серию патчей для их блокировки.

Постоянный URL: http://servernews.ru/1017441
08.08.2019 [10:35], Андрей Созинов

NVIDIA GPUDirect Storage: подключи NVMe-накопители напрямую к GPU

Компания NVIDIA анонсировала новую технологию под названием GPUDirect Storage, которая позволит её графическим процессорам, а точнее ускорителям, напрямую подключаться к NVMe-хранилищам, что обеспечит более быструю передачу и обработку данных.

Сейчас ускорители так или иначе получают данные при посредничестве центрального процессора хост-сервера, который извлекает их из локальных или удалённых устройств хранения. Но ускорители сейчас стали очень мощными и могут простаивать в ожидании информации для обработки, так как перегруженный сервер просто не может снабдить их свежими данными достаточно быстро.

Технология GPUDirect Storage исключает центральный процессор хост-сервера и его память из цепочки, и устанавливает прямую связь между графическим процессором и устройством хранения данных. Причём это могут быть как локальные NVMe-накопители, так и удалённые, подключённые посредством NVMe-oF (NVMe over Fabrics). Фактически это ещё одна реализация (R)DMA. 

В своём блоге компания NVIDIA отметила, что использование технологии GPUDirect Storage в системе NVIDIA DGX-2 позволяет увеличить скорость передачи данных между хранилищем данных и графическим процессором от двух до восьми раз. В частности, указывается, что пропускная способность соединения между системной памятью и графическим процессором в NVIDIA DGX-2 составляет 50 Гбайт/с. А вот пропускная способность при объединении множества накопителей и сетевых адаптеров в том же DGX-2 может превышать 200 Гбайт/с.

Ранее Mellanox и NVIDIA представили GPUDirect RDMA для прямого обмена данными между GPU и сетевыми адаптерами без участия CPU. После покупки Mellanox компания NVIDIA сможет и дальше разивать стек технологий GPUDirect, что позволит ей меньше зависеть от других вендоров. Как знать, возможно, скоро мы увидим ускорители Tesla со встроенными адаптерами InfiniBand. В конце концов, индустрия всё больше засматривается на архитектуру с физическим разделением функциональных блоков в пределах стойки: пару-тройку юнитов на память, ещё несколько на вычислительные узлы разного типа, а остальное под СХД. 

Постоянный URL: http://servernews.ru/992055
Система Orphus