Институт биомедицинских и геномных исследований имени Эли и Эдит Л. Брод при Массачусетском технологическом институте и Гарварде взял на вооружение аппаратные решения Intel и облачную инфраструктуру Google Cloud для повышения эффективности вычислений.

Речь идёт об оптимизации рабочих процессов, связанных с геномными исследованиями. Intel сотрудничает с институтом имени Эли и Эдит Л. Брод с 2017 года. Совместно с этой организацией был создан центр Intel-Broad Center for Genomic Data Engineering: данный проект помогает исследователям и разработчикам ПО со всего мира создавать и оптимизировать инструменты и инфраструктуру для работы с геномными данными.

Intel

Как теперь сообщается, с целью дальнейшей оптимизации рабочих процессов институт перенёс свои рабочие нагрузки на инстансы Google Cloud N2 на базе Intel Xeon Scalable. В рамках проекта отдельные ядра платформы геномной аналитики Genome Analytics Toolkit оптимизированы с использованием библиотеки Intel Genomics Kernel Library под векторные операции AVX-512. А часть функций по работе с хранением данных теперь используют Intel Intelligent Storage Acceleration Library (ISA-L).

«Благодаря модульному проектированию ПО, верному выбору размеров облачной инфраструктуры в зависимости от необходимой рабочей нагрузки и оптимизации для процессоров Intel Xeon Scalable сотрудники учреждения могут решать поставленные задачи в области геномики на 25 % быстрее, уменьшая при этом затраты на 34 %», — говорится в публикации Intel.

Microsoft и HPE сообщили о завершении выполнения первого набора рабочих нагрузок на суперкомпьютере Spaceborne Computer-2 (SC2), отправленном на Международную космическую станцию в феврале этого года. SC2 является наследником оригинального Spaceborne Computer, который добрался до МКС в августе 2017 года и возвращён на Землю на борту космического корабля SpaceX Dragon 615 дней спустя. Если тогда в проекте участвовали HPE и экипаж МКС, то в этот раз к работе с SC2 привлекли Microsoft, чтобы хранить и обрабатывать данные в облаке Azure.

SC2 включает два 1U-узла в особом корпусе со специальными системами питания и охлаждения. Первый узел — это сервер HPE Edgeline EL4000 с одним CPU и одним ИИ-ускорителем, 64 Гбайт RAM и четырьмя 240-Гбайт SSD. Второй узел — сервер HPE ProLiant DL360 Gen10 с двумя CPU, 192 Гбайт RAM и десятком 240-Гбайт SSD. В абсолютных значения производительность невелика (чуть больше 2 Тфлопс), но в космос столь мощная система отправлена впервые.

Microsoft Azure

Целью совместного проекта HPE, Microsoft и NASA является проверка возможности использования SC2 для вычислений на периферии и в облаке. Эксперимент предполагает доступ к секвенсору генов на борту МКС, который используется для регулярного мониторинга образцов крови астронавтов. Секвенирование генерирует около 200 Гбайт «сырых» данных на одного человека, тогда как SC2 выделяется лишь два часа связи в неделю для передачи данных на Землю с максимальной скоростью загрузки 250 Кбайт/с.

Microsoft Azure

Это означает, что на передачу одного полного набора данных потребуется два года. К тому же набор необходимо сравнивать с большой клинической базой данных, которая постоянно обновляется. Чтобы преодолеть эти ограничения, в эксперименте используется компьютер HPE Spaceborne Computer-2 для выполнения начального процесса сравнения извлечённых последовательностей генов с эталонными сегментами ДНК и регистрации только различий или мутаций, которые затем отправляются на наземную станцию HPE.

На земле данные загружаются в Azure-службу Microsoft Genomics, которая выполняет работы по выравниванию — процессу сопоставления коротких последовательностей пар оснований (порядка 70 шт.) из загруженных данных с полным геномом человека. Это позволяет определить, где находится каждая мутация и её тип (удаление, добавление, репликация или замена). Полученные сведения сверяются с базой данных dbSNP Национальных институтов здравоохранения США (NIH), чтобы определить, как каждая мутация может повлиять на здоровье.

HPE сообщила, что уже провела четыре подобных эксперимента, работает над ещё четырьмя, а в планах — ещё 29. А Microsoft в своих тестах убедилась, что предварительная обработка данных непосредственно на орбите позволяет сократить объём передаваемых данных до порядка 1,5 Гбайт вместо исходных 200 и уложиться в отведённое для связи с Землёй окно.