Материалы по тегу: кластер

30.08.2019 [10:20], Андрей Созинов

~200 Raspberry Pi 4 могут заменить ARM-сервер с ThunderX2. Но это будет вдвое дороже

Сколько необходимо одноплатных компьютеров, чтобы построить кластер, сопоставимый по вычислительной мощности с актуальными ARM-серверами? От 190 до 220.

Это выяснили сотрудники ресурса ServeTheHome, а заодно посчитали, есть ли вообще в этом смысл с точки зрения финансовых затрат. Занятие само по себе странное, но любопытное. 

В качестве эталонной системы был выбран сервер Gigabyte с двумя CPU Marvell (Cavium) ThunderX2, каждый из которых имеет 32 ядра с архитектурой ARM v8 и способен обрабатывать 128 потоков, что в в сумме даёт 256 потоков. В свою очередь Raspberry Pi 4 имеет четырёхъядерный процессор ARM v8. Казалось бы, чтобы обеспечить производительность как у сервера на ThunderX2, необходимо взять лишь 64 микрокомпьютера.

Однако нельзя забывать о тактовой частоте, которая у ThunderX2 ощутимо выше (2,2 ГГц против 1,5 ГГц у Raspberry Pi 4), и прочих факторах, влияющих на производительность. Как показало тестирование в GeekBench, компьютер Raspberry Pi 4 всего лишь на 14 % опережает однопоточную виртуальную машину на ThunderX2. Соответственно, для обеспечения производительности на уровне сервера с двумя ThunderX2 необходимо примерно 220 компьютеров Raspberry Pi 4.

Тем не менее, экспериментаторы ServeTheHome решили, что оптимальнее будет использовать 190 компьютеров Raspberry Pi 4 в версии с 4 Гбайт оперативной памяти. Это обеспечит почти такой же объём RAM как и у сервера: 760 и 768 Гбайт соответственно. К тому же их удобнее подключить к восьми 24-портовым PoE-коммутаторам (или к четырём 48-портовым).

Наконец, о ценах. Сервер Gigabyte на двух ThunderX2, дополненный четырьмя 10-Тбайт жёсткими дисками и 100-гигабитным сетевым адаптером обойдётся примерно в $11 500. В свою очередь один Raspberry Pi 4 со всем необходимым оборудованием для включения в кластер обходится в $111,86.

То есть 190 систем будут стоить $21 254, а кластер из 220 систем обойдётся и вовсе в $24 609. Получается, система на базе огромного числа Raspberry Pi 4 обойдётся примерно вдвое дороже, чем сопоставимый по производительности ARM-сервер.

Постоянный URL: http://servernews.ru/993251
10.07.2019 [17:36], Сергей Карасёв

Cluster HAT и Turing Pi: вычислительные кластеры на базе Raspberry Pi

Представлены решения Cluster HAT и Turing Pi, позволяющие формировать вычислительные кластеры с применением одноплатных компьютеров и модулей Raspberry Pi.

Cluster HAT (Hardware Attached on Top) — это небольшая плата, которая подключается к компьютеру Raspberry Pi A+/B+/2/3/4 посредством интерфейса USB. К самой плате могут быть подключены четыре модуля Raspberry Zero 1.2, Raspberry Pi Zero 1.3 или Raspberry Pi Zero W.

Решение Cluster HAT может применяться для тестирования небольших кластерных систем. Кроме того, новинка может использоваться в обучающих целях. Цена — приблизительно 50 долларов США.

Что касается решения Turing Pi, то оно представляет собой плату для установки семи модулей Raspberry Pi Compute Module 3/3+. Габариты изделия составляют 170 × 170 мм.

Плата Turing Pi располагает семью слотами для карт microSD, восемью USB-портами, интерфейсом HDMI, стандартным 3,5-миллиметровым аудиоразъёмом, а также портом Gigabit Ethernet.

Приобрести решение Turing Pi можно будет по ориентировочной цене 130 долларов США. 

Постоянный URL: http://servernews.ru/990529
29.06.2019 [20:44], Андрей Созинов

Как создавалось и обрабатывалось реальное «фото» чёрной дыры M87

Чуть более двух месяцев назад учёным из Европейской Южной Обсерватории (ESO) удалось получить прямое визуальное изображение чёрной дыры в центре массивной галактики Messier 87, что в созвездии Девы. И теперь Supermicro опубликовала подробности о компьютерной системе, которая помогла получить данное изображение, ведь для этого потребовалось обработать огромное количество данных — 4 Пбайт.

Эти данные о сверхмассивной чёрной дыре, расположенной на расстоянии 55 млн световых лет, были получены с помощью восьми радиотелескопов, расположенных по всей Земле. Подробности о физической стороне процесса можно найти в замечательной лекции Архэ. Мы же обратимся к IT-составляющей. 

«Съёмка» длилась несколько ночей весной 2017 года, а получаемая информация — аналоговый сигнал на частотах порядка 2 ГГц — оцифровывалась и сохранялась на жёсткие диски. Сообщается, что запись данных проводилась на скорости 64 Гбайт/с, так что каждый телескоп за одну только ночь записывал 350 Тбайт данных. Исследователи использовали 1024 жёстких диска — по 128 на каждый телескоп, где они делились между четырьмя бэкенд-системами.

Использовались ёмкие накопители, заполненные гелием: в частности, HGST Ultrastar HelioSeal от Western Digital. Такие накопители лучше проявляют себя при работе на большой высоте, где расположена значительная часть радиотелескопов. Впрочем, в ближайшем будущем их, вероятно, могут сменить твердотельные накопители-«рулеры»: Supermicro на днях представила первые СХД и серверы с SSD формата EDSFF

После сбора данных накопители были доставлены в Институт Макса Планка (MPI) и обсерваторию Хейстек Массачусетского технологического института (MIT Haystack). Там данные с них обрабатывались с помощью программного обеспечения DiFX.

Кластер MIT, состоящий из 60 вычислительных узлов, размещается в десяти стойках, содержащих три поколения серверов Supermicro, в том числе и 38 систем Supermicro TwinPro. Все узлы объединены сетью Ethernet 25 Гбит/с и FDR InfiniBand, а серверы построены на 10-ядерных процессорах Intel Xeon. Объём хранилища MIT составляет примерно половину петабайта.

В свою очередь кластер MPI обладает тремя головными серверными узлами Supermicro и 68 вычислительными узлами (в сумме 1360 ядер). Также в систему MIP входит 11 систем хранения данных Supermicro (работающих под управлением BeeGFS) ёмкостью 1,6 петабайта и особые СХД собственной разработки Mark 5 и Mark 6. Для соединения используется FDR InfiniBand.

Все собранные данные были обработаны и «выровнены», то есть скорректированы по времени и положению телескопов. После всё было перепроверено, и здесь использование двух систем обеспечило более высокую точность. После сопоставления, данные были снова отправлены на обработку для визуализации, временно́го анализа и моделирования. В итоге это и позволило получить первое изображение чёрной дыры.

Постоянный URL: http://servernews.ru/989951
20.04.2018 [14:13], Сергей Карасёв

ODROID-MC1 Solo: решение для создания компьютерных мини-кластеров

Команда Hardkernel выпустила модуль под названием ODROID-MC1 Solo, на основе которого могут формироваться компактные вычислительные кластеры.

Изделие представляет собой одноплатный компьютер в специальном кожухе, выполняющем функции радиатора охлаждения. Несколько таких устройств могут устанавливаться друг на друга для создания многоярусной системы. Иными словами, на основе модуля можно сформировать стойку с требуемым количеством одноплатных мини-компьютеров.

Основа платы — процессор Samsung Exynos 5422. Чип выполнен на архитектуре ARM big.LITTLE: он содержит четыре ядра Cortex-A15 с тактовой частотой до 2,0 ГГц и такое же количество ядер Cortex-A7 с частотой до 1,4 ГГц. Обработкой графики занят интегрированный контроллер Mali-T628 MP6.

Оснащение включает 2 Гбайт оперативной памяти LPDDR3 RAM и слот для флеш-карты microSD. Есть гнездо для подключения сетевого Ethernet-кабеля и один порт USB 2.0. Габариты составляют 92 × 42 × 29 мм.

Приобрести изделие ODROID-MC1 Solo можно по ориентировочной цене 50 долларов США

Постоянный URL: http://servernews.ru/968648
31.07.2015 [14:14], Сергей Карасёв

Самый быстрый в мире суперкомпьютер появится в США к 2025 году

Президент США Барак Обама подписал указ о создании самой мощной в мире вычислительной системы, которая оставит далеко позади современные суперкомпьютеры.

Сейчас самым мощным вычислительным комплексом мира является китайская система Tianhe-2, установленная в Национальном суперкомпьютерном центре в Гуанчжоу. Она обладает быстродействием в 33,86 петафлопса (квадриллиона операций с плавающей запятой в секунду). Пиковая производительность Tianhe-2 составляет 54,9 петафлопса.

Предполагается, что будущий американский комплекс сможет демонстрировать производительность, в десятки раз превосходящую показатели нынешнего рекордсмена. Речь идёт о быстродействии на уровне одного экзафлопса — квинтиллиона операций с плавающей запятой в секунду. Использовать систему планируется для выполнения сложных научных расчётов — например, для поиска способов борьбы со злокачественными образованиями, моделирования климата, исследования космического пространства и пр.

Для проведения работ в рамках нового проекта будет сформирована специальная структура — Национальная стратегическая компьютерная инициатива (National Strategic Computing Initiative, NSCI). Ввести экзафлопсную систему в строй планируется к 2025 году. 

Постоянный URL: http://servernews.ru/918014
14.07.2015 [18:59], Сергей Карасёв

ISC 2015: суперкомпьютеры и кластерные системы в экспозиции Cray

Корреспонденты 3DNews познакомились с экспозицией компании Cray на международной суперкомпьютерной конференции ISC 2015.

Cray демонстрирует высокопроизводительные вычислительные системы нового поколения — суперкомпьютеры XC40 и суперкомпьютерные кластеры CS400.

В основу этих комплексов положены процессоры Intel Xeon серии E5-2600 v3 (Haswell-EP), которые могут насчитывать до 18 вычислительных ядер. Поддерживается работа с оперативной памятью DDR4. В ядро Haswell-EP включена поддержка набора инструкций AVX2, который позволяет увеличить производительность операций с плавающей запятой вплоть до 100 % по сравнению с первой версией.

В суперкомпьютерах Cray XC40 реализована фирменная технология DataWarp. Её задача заключается в увеличении быстродействия приложений и снижении полной стоимости владения систем, обрабатывающих задачи с высокой интенсивностью операций ввода/вывода.

Среди преимуществ систем XC40 и CS400 производитель выделяет масштабируемость и поддержку сопроцессоров Intel Xeon Phi. Заказчики смогут сформировать на основе названных решений платформы, полностью удовлетворяющие потребностям в вычислительных ресурсах. 

Постоянный URL: http://servernews.ru/917100
14.07.2015 [11:14], Андрей Крупин

РСК представила новое поколение кластерного решения «РСК Торнадо»

Группа компаний РСК, занимающаяся разработкой решений для сегмента высокопроизводительных вычислений и центров обработки данных, на проходящей во Франкфурте-на-Майне конференции International Supercomputing Conference (ISC’15) продемонстрировала новое поколение своего кластерного комплекса «РСК Торнадо» с улучшенными показателями компактности, вычислительной плотности и энергоэффективности.

Представленная широкой аудитории система «РСК Торнадо» подверглась множеству доработок, в числе которых можно выделить:

  • повышение физической плотности — до 153 вычислительных узлов на шкаф (ранее 128);
  • повышение вычислительной плотности — более 200 Тфлопс/м3 на стандартных процессорах и до 256 Гбайт оперативной памяти на узел;
  • повышение надёжности — в комплексе задействованы независимые гидравлические насосные модули (модули гидрорегулирования) системы жидкостного охлаждения на каждый вычислительный домен (всего до 9 модулей на шкаф) с резервированием от N+1 до N+N;
  • повышение уровня энергоэффективности — обеспечены необходимые условия для стабильной работы вычислительных узлов в режиме «горячая вода» при температуре +65 оС на выходе из узла;
  • новый модуль электропитания в форм-факторе вычислительного узла, обеспечивающий преобразование 220 В переменного тока в 400 В постоянного тока и возможность параллельной работы на общую шину;
  • обновлённую конструкцию вычислительного шкафа с поддержкой новых технологий высокоскоростных межузловых соединений, включая Mellanox EDR Infiniband, Intel Omni-Path;
  • поддержку будущих процессоров Intel Xeon и Intel Xeon Phi с кодовыми названиями архитектур Broadwell и Knights Landing.

Новое поколение «РСК Торнадо» построено на базе серверных процессоров Intel Xeon E5-2600 v3, серверных плат Intel S2600KP и твердотельных накопителей Intel SSD DC S3500/3600/3700 для центров обработки данных.

Отказоустойчивость комплекса обеспечиваются за счёт системы управления и мониторинга работы как отдельных узлов, так и кластерной системы в целом, расширенных возможностей по управлению электропитанием, обеспечения резервирования блоков питания и модулей гидрорегулирования. Все элементы «РСК Торнадо» (вычислительные узлы, блоки питания, модули гидрорегулирования и др.) имеют выделенный управляющий контроллер, что обеспечивает широкие возможности для телеметрии и управления каждым элементом. Конструктив шкафа позволяет заменять модули гидрорегулирования в режиме горячей замены без прерывания работоспособности комплекса. Жидкостное охлаждение всех компонентов обеспечивает длительный срок их службы.

Решения на базе разработанной специалистами компании кластерной архитектуры «РСК Торнадо» с жидкостным охлаждением находятся в промышленной эксплуатации у российских заказчиков уже более четырёх лет. Такие комплексы установлены в Санкт-Петербургском политехническом университете Петра Великого (СПбПУ), Межведомственном суперкомпьютерном центре Российской Академии Наук (МСЦ РАН), Южно-Уральском государственном университете (ЮУрГУ), Московском физико-техническом университете (МФТИ), Росгидромете и у других заказчиков из различных отраслей промышленности. 

Материалы по теме:

Источник:

Постоянный URL: http://servernews.ru/917068
07.07.2015 [13:45], Андрей Крупин

DEAC запустил услугу «кластер серверов»

Европейский оператор дата-центров DEAC объявил о запуске на территории Европы и России услуги «кластер серверов», ориентированной на средний и крупный бизнес.

Кластер серверов как решение объединяет несколько физических серверов с сетевой инфраструктурой. Размер кластера формируется под задачи конкретной компании, выбираются необходимые серверы и сетевое оборудование, при этом данные и приложения размещаются в защищённых дата-центрах DEAC в Лондоне, Франкфурте, Амстердаме, Риге или Москве. В случае необходимости размер кластера и его географическое расположение можно оперативно изменить, а доступ к кластеру возможен из любой точки мира, необходимо лишь иметь подключение к глобальной сети.

В зависимости от конкретных потребностей заказчика формируются кластеры с высокой доступностью (High-availability cluster, HA), кластеры для балансирования нагрузки (Load balancing cluster) либо кластеры с высокопроизводительными вычислительными ресурсами (High performance computing cluster, HPC). Количество серверов может составлять от пары до нескольких сотен. Срок развёртывания кластера серверов составляет несколько рабочих дней.

Дополнительные сведения о сервисе «кластер серверов» и его технических особенностях можно найти на сайте оператора дата-центров deac.eu.

Материалы по теме:

Источник:

Постоянный URL: http://servernews.ru/916722
18.11.2014 [13:15], Александр Будик

IBM внедрит новую суперкомпьютерную архитектуру в 2015 году

Компания IBM планирует внедрить в суперкомпьютеры следующего поколения новую архитектуру, а также оснастить их ещё большим количеством сопроцессоров и ускорителей, что позволит увеличить вычислительную мощь и энергоэффективность. Системы с новой архитектурой выйдут на рынок уже в следующем году.

IBM

IBM

Вице-президент технического подразделения IBM Дэйв Турек (Dave Turek) целью усовершенствований видит ускорение обработки данных на уровнях памяти, хранения данных и ввода/вывода. В существующих моделях супервычислений есть «узкие» места. Много времени и энергии тратится на непрерывное перемещение больших порций данных между процессорами, памятью и накопителями. IBM намерена уменьшить количество таких перемещений данных, что должно обеспечить ускорение обработки данных в три раза по сравнению с используемыми сейчас моделями.

IBM

IBM

Как отмечает Дэйв Турек, когда речь идет о работе с петабайтами и экзабайтами данных, перемещение таких массивов является очень малоэффективным и затратным по времени. IBM является одним из лидеров суперкомпьютерной отрасли, и её системы постоянно занимают высокие места в рейтинге TOP500. Но рост количества данных, которыми нагружаются серверы, превышает рост быстродействия суперкомпьютеров.

Очевидно, с ростом производительности перемещение данных будет «стоить» все больше и больше. Фактически вместе с ростом скорости операций, количество памяти относительно уменьшается, поддаваясь масштабированию намного хуже, чем скорость вычислений. Более того, при приближении к эре экзафлопсов обязательно потребуется менять всю нынешнюю парадигму программирования.

Также Турек считает, что при всём уважении к тестовому бенчмарку LINPACK, этот пакет не обеспечивает адекватных результатов во многих специализированных приложениях. И IBM разрабатывает собственное решение этой проблемы.

 

Постоянный URL: http://servernews.ru/905260
04.03.2014 [15:36], Андрей Крупин

«Лаборатория Касперского» запатентовала технологию отказоустойчивой работы приложений в кластере

«Лаборатория Касперского» в очередной раз пополнила копилку запатентованных изобретений. На сей раз компания сообщила о получении в Бюро по регистрации патентов и торговых марок США патента с описанием методики, обеспечивающей отказоустойчивую работу приложений в распределенных вычислительных системах.

Запатентованная разработчиком антивирусных продуктов технология позволяет организовать бесперебойную работу кластера без использования центрального узла. Если один из серверов в распределенной системе откажет, то другие самостоятельно примут его задачи на себя. Децентрализация гарантирует, что задачи будут выполняться, пока хотя бы один узел продолжает работать. Описанная технология уже задействована в защитном решении Kaspersky Security для SharePoint Server.

В пресс-службе «Лаборатории Касперского» подчеркивают, что важной деталью патента является счетчик, который отсчитывает время по единому для всех узлов системы алгоритму. Благодаря этому метод продолжает работать даже в том случае, если часы на серверах не синхронизированы. Через определяемый алгоритмом период времени каждый из узлов кластера отмечает текущее показание своего счетчика в общей базе данных. Одновременно с этим производится проверка своевременного обновления счетчиков других узлов. Если один из них перестал обновляться, соответствующий счетчику узел считается вышедшим из строя, и его задачи назначаются на тот узел, который первый обнаружил поломку.

Портфель интеллектуальной собственности «Лаборатория Касперского» по состоянию на начало февраля насчитывает 190 патентов, полученных в США, России, Евросоюзе и Китае. Еще 246 патентных заявок находятся на стадии рассмотрения.

Материалы по теме:

Источник:

Постоянный URL: http://servernews.ru/808371
Система Orphus