Материалы по тегу: darpa

01.10.2019 [15:20], Сергей Тверье

Проект DARPA FastNIC нацелен на 100-кратное ускорение сетевых интерфейсов

Медленное интернет-подключение может вывести из себя любого, но только представьте, что «испытывают» суперкомпьютеры, для которых в настоящее время даже самое современное сетевое оборудование не может обеспечить необходимый поток данных. 

Десятки тысяч процессоров и ядер выполняют практически мгновенную обработку любой информации, но, в итоге, высокопроизводительные системы вынуждены простаивать, ожидая обмена данными по морально устаревшим сетевым интерфейсам.

Управление перспективных исследовательских проектов Министерства обороны США (DARPA), кажется, эта ситуация больше не устраивает, поэтому оно запускает программу под названием FastNICs нацеленную на создание нового стека сетевых технологий, который будет в 100 раз быстрее старого.

DARPA уверена, что существующий сетевой стек технологий устарел и представляет собой узкое место для современных высокоскоростных вычислений, поэтому агентство запускает специальную программу, которая должна решить данную проблему

DARPA уверена, что существующий сетевой стек технологий устарел и представляет собой узкое место для современных высокоскоростных вычислений, поэтому агентство запускает специальную программу, которая должна решить данную проблему

По оценке DARPA, современные многопроцессорные сервера, сервера с GPU и аналогичные вычислительные узлы совместными усилиями могут работать с потоком данных примерно 1014 бит в секунду (100 Тбит/с). Примерно такую же агрегированную пропускную способность могут обеспечить современные высокоплотные коммутаторы верхнего уровня. Но при этом связующий их сетевой стек, как правило, в 100-1000 раз медленнее. 

«Истинным узким местом для пропускной способности процессора является сетевой интерфейс, используемый для подключения машины к внешней сети, такой как Ethernet, что серьезно ограничивает возможности загрузки данных», — объясняет др. Джонатан Смит (Dr Jonathan Smith), менеджер программ в Информационном инновационном офисе DARPA.

Для решения данной проблемы агентство запускает программу Fast Network Interface Cards (FastNIC). Задачей программы будет повысить производительность сетевого стека в 100 раз за счёт принципиально иных подходов. Причём для получения такого значительного прироста производительности потребуется переделка всего стека — от уровня прикладных и системных приложений до аппаратного обеспечения.

«Создание сетевого стека сопряжено с большими затратами и сложностями», — указывает Смит. «Начинается оно с аппаратного обеспечения: если вы не сможете сделать его правильно, то вы застрянете. Программное обеспечение просто не может выполнять задачи быстрее, чем позволяет физический уровень, поэтому сначала нам нужно изменить именно его».

Одновременно исследователи займутся разработкой системного программного обеспечения, необходимого для управления аппаратными ресурсами FastNIC. Для достижения 100-кратного увеличения пропускной способности на уровне приложений программное обеспечение должно будет поддерживать максимально эффективную параллельную передачу данных между сетевым оборудованием и другими элементами системы.

Агентство указывает на то, что все разработанные в рамках программы инструменты и библиотеки будут предоставлены сообществу в виде открытого исходного кода, а также будут совместимы минимум с одной из открытых операционных систем.

Прежде всего DARPA заинтересована в новых технологиях для ускорения задач машинного обучения, в том числе распознавания образов при работе со множеством датчиков, например, установленных на беспилотных летательных аппаратах.

К участию в программе приглашаются все заинтересованные организации, которые имеют теоретические наработки по созданию сетей работающих на 10-терабитных скоростях, чтобы продемонстрировать эффективность своего решения на примере одного из выбранных агентством прикладных приложений.

Временные ограничения на данный момент не установлены, но, как и обычно, DARPA гарантирует финансовую поддержку и вознаграждения всем участникам проекта. Подробнее о программе на английском языке вы можете прочитать здесь. Напомним, что ранее DARPA анонсировала проект PAPPA, нацеленный на создание нового стека технологий для высокопараллельного ПО с целью ускорения выполнения ряда задач в 10 000 раз.

Постоянный URL: http://servernews.ru/994914
09.09.2019 [12:39], Сергей Тверье

DARPA заинтересовалась развитием параллелизма в высокопроизводительных вычислениях

По мере того как закон Мура теряет свою актуальность, внедряются всё новые подходы к программированию с целью повышения эффективности использования оборудования при уменьшении затрат на написание кода. 

Управление перспективных исследовательских проектов Министерства обороны США DARPA запускает новый проект, направленный на максимизацию использования преимуществ массивно-параллельных архитектур с минимизацией необходимых трудозатрат.

Проект PAPPA (Performant Automation of Parallel Program Assembly — высокопроизводительная автоматизация создания параллельных программ) стремится разработать новые подходы к программированию, которые позволили бы исследователям и разработчикам приложений создавать эффективные программы для запуска на высокопараллельных и гетерогенных системах.

DARPA запускает новый проект нацеленный на развитие массово-параллельных архитектур и упрощения инструментов для работы с ними

DARPA запускает новый проект, нацеленный на развитие массово-параллельных архитектур и упрощения инструментов для работы с ними

PAPPA рассмотрит «компромиссы между производительностью программирования, универсальностью решений и масштабируемостью, чтобы позволить ученым без понимания нюансов параллельного программирования и аппаратных архитектур создавать высокоэффективные и легко портируемые программы».

Одной из желательных целей было бы создание новой технологии компиляции, обеспечивающей вплоть до 10 000-кратного повышения производительности программирования для массивно-параллельных архитектур. Такие эффективные компиляторы должны снизить барьеры на пути развертывания новых алгоритмов для популярных платформ.

PAPPA также планируют устранить пробелы в современных подходах к программированию, которые позволяют масштабироваться на миллионы процессорных ядер, но при этом требуют очень высокого уровня знаний и компетенции, что часто приводит к длительным и дорогостоящим проектам разработки ПО для высокопроизводительных вычислений. 

Проект PAPPA должен упростить создание расспараллеленных приложений для сложных многоядерных и многопроцессорных архитектур

Проект PAPPA должен упростить создание расспараллеленных приложений для сложных многоядерных и многопроцессорных архитектур, в том числе для таких сложных задач, как моделирование физических процессов в реальном времени

PAPPA стремится повысить ставку, используя специфичные для предметной области инструменты, такие как PyTorch и TensorFlow. Теперь в рамках усилий DARPA должны появиться новые инструменты программирования, основанные на машинном обучении, которые помогут автоматизировать моделирование вычислительных систем. Автоматизация параллельного программирования также необходима для таких задач, как распределение ресурсов и управление памятью. 

Именно поэтому представители DARPA пришли к выводу, что «необходим совершенно новый подход» для автоматизации параллельного программирования. Одним из возможных вариантов было бы точное моделирование и прогнозирование производительности компонентов в рамках всей платформы для высокопроизводительных вычислений. Там, где это уместно, можно было бы применять средства автоматизации, которые не так заметно влияют на бюджет.

DARPA утверждает, что её усилия будут сосредоточены на двух прикладных областях: физическом моделировании и обработке данных в реальном времени. Первое направление будет включать в себя приложения, способные рассчитывать, например, динамику жидкости в определенной среде или прогноз погоды, а также алгоритмы для работы с задачами в физике элементарных частиц. Второе же будет охватывать современные компьютерные приложения, в том числе радиолокационные и беспроводные системы связи.

Анонс программы PAPPA, запущенной DARPA во вторник (3 сентября), находится здесь. Предложения от представителей отрасли будут приниматься до 3 октября.

Постоянный URL: http://servernews.ru/993726
07.08.2013 [11:45], Георгий Орлов

SoftLayer поддержала роботов DARPA

SoftLayer Technologies, дочерняя компания IBM, смогла успешно конкурировать с Amazon Web Services на новом поле. Организация Open Source Robotics Foundation (OSRF), которая поддерживает исследования с открытым исходным кодом для использования в робототехнике, выбрала SoftLayer для хостинга DARPA Virtual Robotics Challenge (VRC). Используя Amazon Web Services, OSRF столкнулась с проблемой быстродействия и начала искать замену.

Целью VRC является разработка программного обеспечения (ПО) конкурирующими командами, которое моделирует роботов, выполняющих задачи, которые могут потребоваться в ситуации реагирования на стихийные бедствия. Победители полуфинала получат возможность применить своё ПО на реальных роботах.

роботы DARPA

С финансированием правительственного агентства США DARPA более 100 команд со всего мира приняли участие в VRC, а глобальная платформа SoftLayer позволяла им работать из удаленных мест, каждой со своим собственным набором серверов, независимо от других. Через API SoftLayer, каждая команда получила пять серверов, в том числе два сервера высокого класса с двухъядерным процессором Intel Sandy Bridge и с GPU от NVIDIA.

«SoftLayer стала настоящим партнером в проведении VRC Simulator и тесно работала с нашей командой», - сказал Брайан Герке (Brian Gerkey), генеральный директор OSRF.

Материалы по теме:

Источник:

Постоянный URL: http://servernews.ru/597654
12.02.2013 [09:02], Георгий Орлов

Continuum Analytics получила финансирование от DARPA на анализ «больших данных»

Американское агентство DARPA (Defense Advanced Research Projects Agency) субсидировало $3 миллионами поставщика программного обеспечения Continuum Analytics. Деньги пойдут на разработку новых методов анализа и визуализацию больших многомерных наборов данных при помощи языка программирования Python. Это, с одной стороны, позволит выйти за пределы возможностей библиотек NumPy и SciPy, с другой - сохранить простоту языка, необходимую аналитикам, часто не являющимся программистами. В этом Python отличается от других, быть может, более эффективных языков.

Работа является частью четырёхлетней исследовательской программы Xdata, на которую DARPA потратит $100 миллионов, чтобы дать Министерству обороны и другим правительственным учреждениям США инструменты для работы с "большими данными". В рамках программы финансирование своих работ уже получили около двух десятков организаций, в том числе Университет Южной Калифорнии, Стэнфордский университет и Национальная лаборатория Лоуренса Беркли.

Компания Continuum Analytics, базирующаяся в Остине (Техас, США), предлагает дополнительные продукты и услуги, помогающие использовать Python для анализа данных. Финансирование DARPA даст возможность продолжить развитие ряда дополнительных технологий, в том числе Blaze, Numba и Bokeh, каждая из которых обеспечивает расширенный набор функций, отсутствующих в Python изначально.

По словам инженера Continuum Analytics Стивена Дила(Stephen Diehl), Blaze, выступая в качестве потенциального преемника NumPy, в отличие от последней, придаёт данным структуру, что позволит создавать многомерные массивы и хранить их в распределенной архитектуре на нескольких машинах. Библиотека Bokeh может визуализировать большие наборы данных, используя теги HTML5 Canvas, а Numba является компилятором Python, распознающим вызовы NumPy. Numba входит в флагманский продукт Continuum Analytics под названием Anaconda - дистрибутив Python с дополнительными возможностями для анализа данных.

Материалы по теме:

Источник:

Постоянный URL: http://servernews.ru/597073
04.05.2012 [09:27], Георгий Орлов

TriQuint получила крупный контракт от DARPA

Компания TriQuint Semiconductor, специализирующаяся на разработке и производстве радиочастотных микрочипов (RF chip, Radio-frequency chip), сообщила, что была выбрана Управлением перспективных исследований и разработок министерства обороны США (DARPA, U.S. Defense Advanced Research Projects Agency) для участия в программе по разработке микропреобразователей мощности (МРС, Microscale Power Conversion). Сумма по контракту составит 12,3 миллионов долларов. По словам представителей TriQuint, новый модулятор компании, базирующийся на технологии транзисторов на основе нитрида галлия (GaN), позволит создавать высокоэффективные и очень компактные преобразователи радиочастот (RF transmitters).

TriQuint Semiconductor

TriQuint станет генеральным подрядчиком программы MPC Technical Area I, в рамках которой будут разрабатываться высокоскоростные преобразователи (модуляторы) DC/DC. Их интеграция с самыми современными компонентами усилителей радиочастот позволит создавать высокоэффективные и компактные устройства, ориентированные на применение в радарах и коммуникационных системах. Компания TriQuint занимается GaN-транзисторами с 1999 года и считается одним из пионеров в этой области. На данный момент компания участвует в ряде проектов DARPA, сотрудничая с такими организациями, как Rockwell Collins и Northrop Grumman, а также с Университетом штата Колорадо. По словам представителей компании, разрабатываемые для DARPA преобразователи, работающие в режиме обогащения, будут иметь запирающее напряжение в 200 вольт и скорость нарастания выходного напряжения в 500 вольт за наносекунду. Предполагается, что КПД усилителей радиочастоты, созданных на базе таких преобразователей и работающих в диапазоне 8-12 гигагерц, будет достигать 75%.

Материалы по теме:

Источник:

Постоянный URL: http://servernews.ru/595831
Система Orphus