Технология контрольных точек (checkpoints) не нова и широко применяется в мире ИТ. Она обеспечивает подстраховку на случай сбоев ПО или «железа». Однако то, что просто реализуется для единичных приложений или серверов, весьма непросто в случае HPC-кластеров и распределённых многопоточных задачах. Но благодаря сотрудничеству MemVerge с проектом DMTCP эта технология станет более распространённой в HPC-сегменте.

Сама MemVerge, компания, разрабатывающая технологии виртуализации крупных массивов памяти на основе DRAM и Optane, до недавних пор не предполагала запуск своих решений в действительно сложных распределённых системах. Однако обойти эту проблему помог открытый проект Distributed MultiThreaded Checkpointing Project (DMTCP), с которым компания теперь сотрудничает.

MemVerge Memory Machine — технология создания крупных распределённых пулов памяти

Сложных сценариев, где контрольные точки могли бы спасти ситуацию в случае сбоя от убытков и потери многих человеко-часов, множество: это и симуляция поведения сложных микросхем, верификация схемотехники таких микросхем, сложные вычисления в области биоинформатики или физики высоких энергий, разработка систем кибербезопасности, работа с массивами bigdata и множество других.

Главное преимущество реализации DMTCP в том, что эта система полностью работает в пользовательском пространстве и не требует существенных модификаций ни в ПО, ни в ОС. Она способна прозрачно функционировать в большинстве Linux-систем и совместима с MPI, Python, Matlab, R и т.д. Корректную работу многопоточных задач обеспечивает координатор, который сохраняет состояние приложений на диск по расписанию или по заданным пользователем условиям. В случае сбоя процесс вычислений может быть восстановлен с последней контрольной точки.

Благодаря тому, что MemVerge стала активным участником проекта DMTCP, последнему должен существенно упроститься путь на рынок. MemVerge будет не только помогать в разработке DMTCP, но и отвечать за его коммерческую поддержку, а также внедрит полностью протестированную версию данного ПО в свои решения серии Big Memory. Компания уже сотрудничает с Национальным вычислительным центром энергетических исследований США (NERSC) с целью оптимизации DMTCP-решений для суперкомпьютеров Cori и Perlmutter. В дальнейшем планируется сделать DMTCP доступным и для CUDA-вычислений.

По мере приближения релиза Linux 5.6 появляется всё больше данных о нововведениях в этой сборке. Одним из них является внедрение поддержки Multipath TCP (MPTCP) — модификации протокола для работы с множественными путями, которая позволит улучшить работу стандартного TCP/IP. 

Работы с Multipath давно реализована для ряда протоколов более высокого уровня и применяется для балансировки нагрузки и отказоустойчивости. MPTCP даст те же преимущества для всех систем и приложений. Внедрение MPTCP в ядро системы позволит обойтись без дополнительных драйверов, упростить настройку и сделать её более прозрачной.  Подробнее о самом протоколе можно прочитать здесь.

Код предварительной поддержки mptcp-prereq уже предложен для добавления в net-next, хотя пока не сообщается о его внедрении в основную ветку. Как ожидается, это нововведение может появиться в Linux 5.6 или 5.7. 

Напомним, что в свежем релизе также ожидается внедрение WireGuard в сетевую подсистему ядра и появление AMD Trusted Execution Environment.