Материалы по тегу: кластер

26.02.2020 [16:54], Андрей Галадей

Bright Cluster Manager for Data Science стала бесплатной

Компания Bright Computing объявила о том, что программное обеспечение Bright Cluster Manager for Data Science теперь доступно бесплатно в рамках программы Easy8. В рамках этой программы уже предлагалось полнофункциональное бесплатное программное обеспечение для 8 узлов, которое автоматизирует процесс создания и управления гетерогенными кластерами Linux.

Утверждается, что Bright Cluster Manager for Data Science предоставляет всё необходимое для быстрого создания полноценной среды машинного обучения. В числе библиотек есть популярные фреймворки, такие как NVIDIA cuDNN, CUB, CUDA, TensorRT, Dynet, Fastai, JupyterHub, NCCL2, MXNet, pyTorch и другие. Система заявлена как масштабируемая, она работает в связке с многопользовательским сервером JupyterHub. Также говорится о поддержке NVIDIA GPU Cloud (NGC), что упрощает использование контейнеров для систем машинного обучения. 

Всё это, как утверждается, позволит упростить работу по управлению кластерами и вычислительной инфраструктурой в целом. Ведь спрос на кластерные системы растёт, а значит такие приложения будут востребованы.

Постоянный URL: http://servernews.ru/1004613
20.09.2019 [08:48], Андрей Созинов

Huawei Atlas 900: самый производительный кластер для машинного обучения

Компания Huawei анонсировала самый производительный в мире кластер для обучения нейронных сетей, который называется Atlas 900. Как заявляет сама компания, данная высокопроизводительная платформа поможет «сделать ИИ доступнее для широкого спектра научных исследований и инновационных бизнес-решений».

В основе кластера Atlas 900 лежат процессоры Ascend 910, которые и были разработаны специально для решения задач, связанных с ИИ. Точное количество чипов в системе не уточняется, но отмечается что их там «тысячи».

Остальные характеристики кластера Huawei также предпочла оставить в тайне.

Однако китайская компания с гордостью заявила, что на обучение нейросети ResNet-50, которая является чуть ли не золотым стандартом для измерения производительности в машинном обучении, кластеру Atlas 900 при использовании 1024 процессоров Ascend 910 понадобилось всего 59,8 секунды. Это на 10 секунд меньше предыдущего мирового рекорда.

По словам Huawei, высокопроизводительная система Atlas 900 может быть задействована для решения задач в самых разных сферах: от астрономии, прогнозирования погоды и автономного вождения до разведки нефтяных месторождений.

Компания также обеспечила доступ к Atlas 900 посредством собственного облачного сервиса Huawei Cloud, тем самым обеспечив своим клиентам из различных отраслей простой способ использовать вычислительные мощности новой системы. Также заметим, что Huawei предлагает доступ университетам и научно-исследовательским организациям по всему миру с большой скидкой.

Постоянный URL: http://servernews.ru/994349
30.08.2019 [10:20], Андрей Созинов

~200 Raspberry Pi 4 могут заменить ARM-сервер с ThunderX2. Но это будет вдвое дороже

Сколько необходимо одноплатных компьютеров, чтобы построить кластер, сопоставимый по вычислительной мощности с актуальными ARM-серверами? От 190 до 220.

Это выяснили сотрудники ресурса ServeTheHome, а заодно посчитали, есть ли вообще в этом смысл с точки зрения финансовых затрат. Занятие само по себе странное, но любопытное. 

В качестве эталонной системы был выбран сервер Gigabyte с двумя CPU Marvell (Cavium) ThunderX2, каждый из которых имеет 32 ядра с архитектурой ARM v8 и способен обрабатывать 128 потоков, что в в сумме даёт 256 потоков. В свою очередь Raspberry Pi 4 имеет четырёхъядерный процессор ARM v8. Казалось бы, чтобы обеспечить производительность как у сервера на ThunderX2, необходимо взять лишь 64 микрокомпьютера.

Однако нельзя забывать о тактовой частоте, которая у ThunderX2 ощутимо выше (2,2 ГГц против 1,5 ГГц у Raspberry Pi 4), и прочих факторах, влияющих на производительность. Как показало тестирование в GeekBench, компьютер Raspberry Pi 4 всего лишь на 14 % опережает однопоточную виртуальную машину на ThunderX2. Соответственно, для обеспечения производительности на уровне сервера с двумя ThunderX2 необходимо примерно 220 компьютеров Raspberry Pi 4.

Тем не менее, экспериментаторы ServeTheHome решили, что оптимальнее будет использовать 190 компьютеров Raspberry Pi 4 в версии с 4 Гбайт оперативной памяти. Это обеспечит почти такой же объём RAM как и у сервера: 760 и 768 Гбайт соответственно. К тому же их удобнее подключить к восьми 24-портовым PoE-коммутаторам (или к четырём 48-портовым).

Наконец, о ценах. Сервер Gigabyte на двух ThunderX2, дополненный четырьмя 10-Тбайт жёсткими дисками и 100-гигабитным сетевым адаптером обойдётся примерно в $11 500. В свою очередь один Raspberry Pi 4 со всем необходимым оборудованием для включения в кластер обходится в $111,86.

То есть 190 систем будут стоить $21 254, а кластер из 220 систем обойдётся и вовсе в $24 609. Получается, система на базе огромного числа Raspberry Pi 4 обойдётся примерно вдвое дороже, чем сопоставимый по производительности ARM-сервер.

Постоянный URL: http://servernews.ru/993251
10.07.2019 [17:36], Сергей Карасёв

Cluster HAT и Turing Pi: вычислительные кластеры на базе Raspberry Pi

Представлены решения Cluster HAT и Turing Pi, позволяющие формировать вычислительные кластеры с применением одноплатных компьютеров и модулей Raspberry Pi.

Cluster HAT (Hardware Attached on Top) — это небольшая плата, которая подключается к компьютеру Raspberry Pi A+/B+/2/3/4 посредством интерфейса USB. К самой плате могут быть подключены четыре модуля Raspberry Zero 1.2, Raspberry Pi Zero 1.3 или Raspberry Pi Zero W.

Решение Cluster HAT может применяться для тестирования небольших кластерных систем. Кроме того, новинка может использоваться в обучающих целях. Цена — приблизительно 50 долларов США.

Что касается решения Turing Pi, то оно представляет собой плату для установки семи модулей Raspberry Pi Compute Module 3/3+. Габариты изделия составляют 170 × 170 мм.

Плата Turing Pi располагает семью слотами для карт microSD, восемью USB-портами, интерфейсом HDMI, стандартным 3,5-миллиметровым аудиоразъёмом, а также портом Gigabit Ethernet.

Приобрести решение Turing Pi можно будет по ориентировочной цене 130 долларов США. 

Постоянный URL: http://servernews.ru/990529
29.06.2019 [20:44], Андрей Созинов

Как создавалось и обрабатывалось реальное «фото» чёрной дыры M87

Чуть более двух месяцев назад учёным из Европейской Южной Обсерватории (ESO) удалось получить прямое визуальное изображение чёрной дыры в центре массивной галактики Messier 87, что в созвездии Девы. И теперь Supermicro опубликовала подробности о компьютерной системе, которая помогла получить данное изображение, ведь для этого потребовалось обработать огромное количество данных — 4 Пбайт.

Эти данные о сверхмассивной чёрной дыре, расположенной на расстоянии 55 млн световых лет, были получены с помощью восьми радиотелескопов, расположенных по всей Земле. Подробности о физической стороне процесса можно найти в замечательной лекции Архэ. Мы же обратимся к IT-составляющей. 

«Съёмка» длилась несколько ночей весной 2017 года, а получаемая информация — аналоговый сигнал на частотах порядка 2 ГГц — оцифровывалась и сохранялась на жёсткие диски. Сообщается, что запись данных проводилась на скорости 64 Гбайт/с, так что каждый телескоп за одну только ночь записывал 350 Тбайт данных. Исследователи использовали 1024 жёстких диска — по 128 на каждый телескоп, где они делились между четырьмя бэкенд-системами.

Использовались ёмкие накопители, заполненные гелием: в частности, HGST Ultrastar HelioSeal от Western Digital. Такие накопители лучше проявляют себя при работе на большой высоте, где расположена значительная часть радиотелескопов. Впрочем, в ближайшем будущем их, вероятно, могут сменить твердотельные накопители-«рулеры»: Supermicro на днях представила первые СХД и серверы с SSD формата EDSFF

После сбора данных накопители были доставлены в Институт Макса Планка (MPI) и обсерваторию Хейстек Массачусетского технологического института (MIT Haystack). Там данные с них обрабатывались с помощью программного обеспечения DiFX.

Кластер MIT, состоящий из 60 вычислительных узлов, размещается в десяти стойках, содержащих три поколения серверов Supermicro, в том числе и 38 систем Supermicro TwinPro. Все узлы объединены сетью Ethernet 25 Гбит/с и FDR InfiniBand, а серверы построены на 10-ядерных процессорах Intel Xeon. Объём хранилища MIT составляет примерно половину петабайта.

В свою очередь кластер MPI обладает тремя головными серверными узлами Supermicro и 68 вычислительными узлами (в сумме 1360 ядер). Также в систему MIP входит 11 систем хранения данных Supermicro (работающих под управлением BeeGFS) ёмкостью 1,6 петабайта и особые СХД собственной разработки Mark 5 и Mark 6. Для соединения используется FDR InfiniBand.

Все собранные данные были обработаны и «выровнены», то есть скорректированы по времени и положению телескопов. После всё было перепроверено, и здесь использование двух систем обеспечило более высокую точность. После сопоставления, данные были снова отправлены на обработку для визуализации, временно́го анализа и моделирования. В итоге это и позволило получить первое изображение чёрной дыры.

Постоянный URL: http://servernews.ru/989951
20.04.2018 [14:13], Сергей Карасёв

ODROID-MC1 Solo: решение для создания компьютерных мини-кластеров

Команда Hardkernel выпустила модуль под названием ODROID-MC1 Solo, на основе которого могут формироваться компактные вычислительные кластеры.

Изделие представляет собой одноплатный компьютер в специальном кожухе, выполняющем функции радиатора охлаждения. Несколько таких устройств могут устанавливаться друг на друга для создания многоярусной системы. Иными словами, на основе модуля можно сформировать стойку с требуемым количеством одноплатных мини-компьютеров.

Основа платы — процессор Samsung Exynos 5422. Чип выполнен на архитектуре ARM big.LITTLE: он содержит четыре ядра Cortex-A15 с тактовой частотой до 2,0 ГГц и такое же количество ядер Cortex-A7 с частотой до 1,4 ГГц. Обработкой графики занят интегрированный контроллер Mali-T628 MP6.

Оснащение включает 2 Гбайт оперативной памяти LPDDR3 RAM и слот для флеш-карты microSD. Есть гнездо для подключения сетевого Ethernet-кабеля и один порт USB 2.0. Габариты составляют 92 × 42 × 29 мм.

Приобрести изделие ODROID-MC1 Solo можно по ориентировочной цене 50 долларов США

Постоянный URL: http://servernews.ru/968648
31.07.2015 [14:14], Сергей Карасёв

Самый быстрый в мире суперкомпьютер появится в США к 2025 году

Президент США Барак Обама подписал указ о создании самой мощной в мире вычислительной системы, которая оставит далеко позади современные суперкомпьютеры.

Сейчас самым мощным вычислительным комплексом мира является китайская система Tianhe-2, установленная в Национальном суперкомпьютерном центре в Гуанчжоу. Она обладает быстродействием в 33,86 петафлопса (квадриллиона операций с плавающей запятой в секунду). Пиковая производительность Tianhe-2 составляет 54,9 петафлопса.

Предполагается, что будущий американский комплекс сможет демонстрировать производительность, в десятки раз превосходящую показатели нынешнего рекордсмена. Речь идёт о быстродействии на уровне одного экзафлопса — квинтиллиона операций с плавающей запятой в секунду. Использовать систему планируется для выполнения сложных научных расчётов — например, для поиска способов борьбы со злокачественными образованиями, моделирования климата, исследования космического пространства и пр.

Для проведения работ в рамках нового проекта будет сформирована специальная структура — Национальная стратегическая компьютерная инициатива (National Strategic Computing Initiative, NSCI). Ввести экзафлопсную систему в строй планируется к 2025 году. 

Постоянный URL: http://servernews.ru/918014
14.07.2015 [18:59], Сергей Карасёв

ISC 2015: суперкомпьютеры и кластерные системы в экспозиции Cray

Корреспонденты 3DNews познакомились с экспозицией компании Cray на международной суперкомпьютерной конференции ISC 2015.

Cray демонстрирует высокопроизводительные вычислительные системы нового поколения — суперкомпьютеры XC40 и суперкомпьютерные кластеры CS400.

В основу этих комплексов положены процессоры Intel Xeon серии E5-2600 v3 (Haswell-EP), которые могут насчитывать до 18 вычислительных ядер. Поддерживается работа с оперативной памятью DDR4. В ядро Haswell-EP включена поддержка набора инструкций AVX2, который позволяет увеличить производительность операций с плавающей запятой вплоть до 100 % по сравнению с первой версией.

В суперкомпьютерах Cray XC40 реализована фирменная технология DataWarp. Её задача заключается в увеличении быстродействия приложений и снижении полной стоимости владения систем, обрабатывающих задачи с высокой интенсивностью операций ввода/вывода.

Среди преимуществ систем XC40 и CS400 производитель выделяет масштабируемость и поддержку сопроцессоров Intel Xeon Phi. Заказчики смогут сформировать на основе названных решений платформы, полностью удовлетворяющие потребностям в вычислительных ресурсах. 

Постоянный URL: http://servernews.ru/917100
14.07.2015 [11:14], Андрей Крупин

РСК представила новое поколение кластерного решения «РСК Торнадо»

Группа компаний РСК, занимающаяся разработкой решений для сегмента высокопроизводительных вычислений и центров обработки данных, на проходящей во Франкфурте-на-Майне конференции International Supercomputing Conference (ISC’15) продемонстрировала новое поколение своего кластерного комплекса «РСК Торнадо» с улучшенными показателями компактности, вычислительной плотности и энергоэффективности.

Представленная широкой аудитории система «РСК Торнадо» подверглась множеству доработок, в числе которых можно выделить:

  • повышение физической плотности — до 153 вычислительных узлов на шкаф (ранее 128);
  • повышение вычислительной плотности — более 200 Тфлопс/м3 на стандартных процессорах и до 256 Гбайт оперативной памяти на узел;
  • повышение надёжности — в комплексе задействованы независимые гидравлические насосные модули (модули гидрорегулирования) системы жидкостного охлаждения на каждый вычислительный домен (всего до 9 модулей на шкаф) с резервированием от N+1 до N+N;
  • повышение уровня энергоэффективности — обеспечены необходимые условия для стабильной работы вычислительных узлов в режиме «горячая вода» при температуре +65 оС на выходе из узла;
  • новый модуль электропитания в форм-факторе вычислительного узла, обеспечивающий преобразование 220 В переменного тока в 400 В постоянного тока и возможность параллельной работы на общую шину;
  • обновлённую конструкцию вычислительного шкафа с поддержкой новых технологий высокоскоростных межузловых соединений, включая Mellanox EDR Infiniband, Intel Omni-Path;
  • поддержку будущих процессоров Intel Xeon и Intel Xeon Phi с кодовыми названиями архитектур Broadwell и Knights Landing.

Новое поколение «РСК Торнадо» построено на базе серверных процессоров Intel Xeon E5-2600 v3, серверных плат Intel S2600KP и твердотельных накопителей Intel SSD DC S3500/3600/3700 для центров обработки данных.

Отказоустойчивость комплекса обеспечиваются за счёт системы управления и мониторинга работы как отдельных узлов, так и кластерной системы в целом, расширенных возможностей по управлению электропитанием, обеспечения резервирования блоков питания и модулей гидрорегулирования. Все элементы «РСК Торнадо» (вычислительные узлы, блоки питания, модули гидрорегулирования и др.) имеют выделенный управляющий контроллер, что обеспечивает широкие возможности для телеметрии и управления каждым элементом. Конструктив шкафа позволяет заменять модули гидрорегулирования в режиме горячей замены без прерывания работоспособности комплекса. Жидкостное охлаждение всех компонентов обеспечивает длительный срок их службы.

Решения на базе разработанной специалистами компании кластерной архитектуры «РСК Торнадо» с жидкостным охлаждением находятся в промышленной эксплуатации у российских заказчиков уже более четырёх лет. Такие комплексы установлены в Санкт-Петербургском политехническом университете Петра Великого (СПбПУ), Межведомственном суперкомпьютерном центре Российской Академии Наук (МСЦ РАН), Южно-Уральском государственном университете (ЮУрГУ), Московском физико-техническом университете (МФТИ), Росгидромете и у других заказчиков из различных отраслей промышленности. 

Материалы по теме:

Источник:

Постоянный URL: http://servernews.ru/917068
07.07.2015 [13:45], Андрей Крупин

DEAC запустил услугу «кластер серверов»

Европейский оператор дата-центров DEAC объявил о запуске на территории Европы и России услуги «кластер серверов», ориентированной на средний и крупный бизнес.

Кластер серверов как решение объединяет несколько физических серверов с сетевой инфраструктурой. Размер кластера формируется под задачи конкретной компании, выбираются необходимые серверы и сетевое оборудование, при этом данные и приложения размещаются в защищённых дата-центрах DEAC в Лондоне, Франкфурте, Амстердаме, Риге или Москве. В случае необходимости размер кластера и его географическое расположение можно оперативно изменить, а доступ к кластеру возможен из любой точки мира, необходимо лишь иметь подключение к глобальной сети.

В зависимости от конкретных потребностей заказчика формируются кластеры с высокой доступностью (High-availability cluster, HA), кластеры для балансирования нагрузки (Load balancing cluster) либо кластеры с высокопроизводительными вычислительными ресурсами (High performance computing cluster, HPC). Количество серверов может составлять от пары до нескольких сотен. Срок развёртывания кластера серверов составляет несколько рабочих дней.

Дополнительные сведения о сервисе «кластер серверов» и его технических особенностях можно найти на сайте оператора дата-центров deac.eu.

Материалы по теме:

Источник:

Постоянный URL: http://servernews.ru/916722
Система Orphus