Материалы по тегу: бенчмарк

01.04.2020 [21:27], Андрей Созинов

1- и 2-сокетные серверы ASUS установили почти 600 рекордов в тестах SPEC

Компания ASUS объявила о том, что её серверным системам принадлежит наибольшее число мировых рекордов производительности в бенчмарках SPEC.Если точнее, то продукты тайваньской компании по состоянию на 4 марта 2020 года смогли установить 578 рекордов, что несомненно является впечатляющим результатом.

Рекордных результатов компании ASUS помогли добиться серверные продукты для различных платформ: Intel Xeon Scalable 1-го и 2-го поколения, Intel Xeon E-2200 и AMD EPYC 7002.

Системы ASUS на этих чипах используются для самых разных задач, включая корпоративные, анализ данных, глубокое обучение и искусственный интеллект, HPC и других, говорится в релизе. 

Серверным системам ASUS с процессорами AMD EPYC 7002 (Rome) принадлежит 102 мировых рекорда в бенчмарках SPEC CPU 2017. Из них 64 первых места у однопроцессорных платформ RS500A-E10, о которых мы уже писали. Ещё 38 рекордов установили двухпроцессорные системы. Среди достижений можно выделить рекорды по скорости целочисленных вычислений и вычислений с плавающей запятой.

Ещё 192 рекорда установили системы ASUS ESC8000 G4, которые базируются на процессорах Xeon Scalable 1-го и 2-го поколения и могут включать в себя до восьми ускорителей вычислений на графических процессорах. Здесь наилучших результатов достигли системы на базе Xeon Platinum 8280L.

Наконец, серверные платформы ASUS RS300 на процессорах Xeon E-2200 смогла обеспечить тайваньскому производителю ещё 96 рекордов в различных тестах SPEC CPU 2017. Остальные рекорды принадлежат другим системам.

ASUS отмечает, что кроме прочего, высокую производительность её серверным платформам обеспечивает технология Performance Boost. Она позволяет использовать процессор на максимально высокой тактовой частоте, а также обеспечивает возможность тонкой настройки системы в зависимости от типа задач.

Постоянный URL: http://servernews.ru/1007322
24.03.2020 [21:37], Андрей Созинов

СХД китайской Inspur заняла вторую строчку рейтинга бенчмарка SPC-1

Система хранения данных китайской компании Inspur сегодня заняла второе место в рейтинге теста производительности SPC (Storage Performance Council). Тем самым она сместила на третье место СХД другой китайской компании — Huawei.

На первом же месте по-прежнему располагается хранилище от японской Fujitsu.

В тестировании приняла участие All-Flash система хранения данных на базе массивов твердотельных накопителей Inspur AS5600G2. Всего было использовано 16 массивов, на которые в сумме пришлось 400 твердотельных накопителей объёмом 1,92 Тбайт каждый. То есть общий объём хранилища составил 768 Тбайт. За работу СХД отвечало восемь двухконтроллерных систем.

Бенчмарк SPC-1 оценивает производительность систем хранения данных в рабочих нагрузках бизнес-класса со случайным доступом к данным, которые могут быть сжаты и/или дедуплицированы. Система Inspur AS5600G2 смогла продемонстрировать производительность в 7 520 358 IOPS. Тем самым она более чем на полмиллиона IOPS опередила Huawei OceanStor 1800 V3, которая теперь расположена на третьем месте. В свою очередь Fujitsu Eternus DX8900 S4, располагающаяся на первом месте, набрала в SPC-1 более 10 млн IOPS.

Однако обе вышеупомянутые китайские системы имеют куда лучшее соотношение производительности к их стоимости. В системе Fujitsu одна тысяча IOPS обошлась в $644,16, тогда как в Inspur AS5600G2 — всего в $386,50. Идущая следом система Huawei предлагает 1000 IOPS ещё дешевле — за $376,96.

Заметим также, что рейтинг SPC-1 стал площадкой для борьбы китайских производителей, ведь они занимают в нём восемь позиций в Топ-10. Из китайских систем больше всего среди лидеров оказалось решений от Huawei. Неделю назад компания выложила результаты тестирования СХД OceanStor 5310 V5 с SSD

Постоянный URL: http://servernews.ru/1006729
21.02.2020 [18:08], Алексей Степин

Японский институт AIST опубликовал результаты сравнительного тестирования Intel Optane DCPMM и DRAM

Ещё весной прошлого года Intel анонсировала новый тип модулей памяти на базе технологии 3D XPoint — Optane DCPMM. Технология заинтересовала всех, кому нужны большие объемы оперативной памяти, и кто готов при этом мириться с некоторой потерей производительности.

Японский национальный институт передовых технических наук и технологии (AIST) опубликовал результаты сравнительного тестирования DCPMM, в котором эти модули сравнивались с традиционной памятью DRAM.

Модуль DCPMM объёмом 128 Гбайт. Фото StorageReview.

Модуль DCPMM объёмом 128 Гбайт. Фото StorageReview.

В отличие от блочных накопителей Optane, существует не так уж много доступных результатов тестирования DCPMM, вот почему данные AIST представляют существенную ценность, о чём говорят и сами авторы проекта.

Для тестирования они использовали инструментарий собственной разработки и вот каких результатов им удалось достичь: при чтении латентность DCPMM составила порядка 374 наносекунд, в режиме случайной записи write-back она возросла до примерно 390 наносекунд.

Пропускная способность при этом составила 38 и 3 Гбайт/с, соответственно. Иными словами, задержки DCPMM примерно в четыре раза выше, нежели у DRAM, однако при этом такие модули способны обеспечить 37% пропускной способности обычной памяти. Это не так уж мало и, во всяком случае, на операциях чтения — намного быстрее любых традиционных блочных накопителей. Также подтвердилась польза от включения чередования (interleaving).

Любопытно, что для точного измерения задержек японским учёным пришлось пойти на ряд ухищрений, поскольку, по их словам, большинство современных архитектур используют предвыборку (prefetch) и внеочередное исполнение (out-of-order execution), что позволяет минимизировать негативные последствия, вызываемые задержками при обращении к оперативной памяти. Полностью ознакомиться с методикой и результатами тестирования можно по этой ссылке.

Постоянный URL: http://servernews.ru/1004263
02.02.2020 [12:17], Владимир Мироненко

Amazon раскритиковала результаты бенчмарка, проведенного Microsoft для AWS и Azure

На минувшей неделе разгорелся конфликт между Amazon Web Services и Microsoft по поводу бенчмарка, проведенного софтверным гигантом.

В последнее время Microsoft публикует впечатляющие данные по облачной базе данных SQL Microsoft Azure и её сообщение в начале декабря вызвало жёсткую реакцию компании Джеффа Безоса. Всё это, напомним, происходит на фоне попыток Amazon отменить контракт между Microsoft и Пентагоном по созданию облака JEDI, которое обойдётся государству в $10 млрд.

«Быстрее и дешевле: SQL в Azure продолжает затмевать AWS», — под таким заголовком Microsoft опубликовала статью, в которой утверждается, что Azure «в 3,4 раза быстрее и на 87 % дешевле, чем AWS EC2». Ссылаясь на данные из профинансированного ею же исследования медиакомпании GigaOm, компания из Редмонда (штат Вашингтон) также заявила, что её облачный сервис для хранения больших массивов данных Azure Ultra Disk превосходит AWS по количеству операций ввода-вывода в секунду (IOPS).

В ответ AWS выполнила собственный бенчмарк TPC-C, используя HammerDB с открытым исходным кодом, который показал, что AWS превосходит в 1,75 раза сервис Microsoft по производительности и имеет 40-процентное преимущество по соотношению цена / качество.

Говоря о проведенном Microsoft бенчмарке, Amazon отметила, что для повышения производительности Azure применила страйпинг, который не использовался в AWS, добавив, что при сравнении двух сервисов был взят инстанс AWS старого поколения, а не самый современный из сопоставимых, что может предложить Amazon. Также Amazon уличила компанию из Редмонда в том, что был применён модифицированный бенчмарк TPC-E, изобилующий проприетарным инструментарием Microsoft. Наконец, в расходах ею не были учтены затраты на лицензирование и программу обслуживания Software Assurance.

Отметим, что Microsoft подстраховалась от возможной критики, указав мелким шрифтом в примечании под результатами исследования, что «фактические результаты и цены могут варьироваться в зависимости от конфигурации и региона».

Постоянный URL: http://servernews.ru/1002777
15.01.2020 [20:58], Игорь Осколков

ScaleMP помогла AMD поставить абсолютные рекорды в SPEC CPU 2017

В августе прошлого года AMD и ScaleMP, поставщик различных систем виртуализации для HPC-решений, официально объявили о сотрудничестве, в рамках которого, в частности, была добавлена поддержка новых серверных процессоров EPYC Rome 7002 в гипервизор vSMP Foundation.

ScaleMP vSMP Foundation, напомним, позволяет объединить множество стандартных серверов x86-64 в высокопроизводительную систему, которая для ОС и ПО выглядит как единый сервер с большим числом ядер и большим же объёмом памяти.

Такой подход упрощает масштабирование нагрузки для ряда приложений и, помимо всего прочего, не требует заметных модификаций кода. В случае AMD EPYC Rome использование vSMP Foundation позволяет объединить до 128 CPU, получив таким образом машину с 8192 ядрами и 256 Тбайт RAM.

И вот, наконец, сотрудничество компаний дало значимые результаты. В бенчмарке SPEC CPU 2017 32-сокетные системы с AMD EPYC 7002 (64/128, 2,0/3,35 ГГц, 256 Мбайт L3) заняли первые места и в целочисленных вычислениях, и в расчётах с плавающей запятой, обогнав предыдущего лидера в примерно на 80%. Им была HPE Superdome Flex на базе 32 процессоров Intel Xeon Platinum 8180 (28/56, 2,5/3,8 ГГц, 38,5 Мбайт L3). Рекорд этой системы продержался ровно два года.

Для теста AMD EPYC Rome и vSMP Foundation использовались серверы Supermicro A+ Server 2123BT-HNC0R: 2U, 4 узла, 2 CPU в каждом узле.

Постоянный URL: http://servernews.ru/1001523
17.12.2019 [13:26], Алексей Степин

Cockroach Labs сравнила облачные сервисы AWS, Azure и Google Cloud

Популярность облачных сервисов очень высока, но неправильно выбранная услуга может оказаться недостаточно производительной, поэтому сравнительные тесты очень важны.

Такие тесты компания Cockroach Labs проводит с 2017 года, и недавно был опубликован новый отчёт, содержащий любопытные данные, могущие помочь в выборе нужной услуги.

Сводный рейтинг производительности. Azure вступает в игру

Сводный рейтинг производительности. Azure вступает в игру

Для тестирования компания применяет базу данных CockroachDB собственной разработки. Для оценки OLTP-производительности используется тест TPC-C, измеряющий количество транзакций за единицу времени. Однако оценивается также пропускная способность сети и её задержки (iPerf и ping), производительность подсистем хранения данных (sysbench). Для успешного прохождения теста время отклика не должно превышать 5 секунд.

Удельная производительность. Не всегда самое быстрое ‒ самое выгодное

Удельная производительность. Не всегда самое быстрое ‒ самое выгодное

В результатах тестирования 2018 года AWS превзошла конкурента в лице Google Cloud Platform на 40%, но в новом отчёте можно видеть, что отрыв сократился до минимального; кроме того, в игру вступил сервис Microsoft Azure, показавший в конфигурации Standard_DS14_v2 вполне достойный результат и занявший второе место.

Предельная производительность у всех трёх провайдеров весьма близка

Предельная производительность у всех трёх провайдеров весьма близка

Cockroach Labs уделяет серьёзное внимание и удельной производительности ‒ далеко не всегда выигрыш в чистой производительности может быть оправдан двух- или трёхкратной разницей в цене. Первенство в этой категории достаточно прочно удерживает Google Cloud Platform, хотя отрыв от AWS и невелик.

А вот результаты Azure не впечатляют ‒ машина Standard_F16s хотя и не слишком дорога, но занимает предпоследнее место по производительности, а DS14_v2 явно менее выгодна, нежели предложение AWS. Однако стоит учесть, что цены для рейтинга удельной производительности взяты официальные. В зависимости от масштабов заказа могут действовать различные скидки.

Полный отчет Cockroach Labs можно найти в публичном репозитории, а также скачать с её сайта. 

Постоянный URL: http://servernews.ru/999899
06.11.2019 [21:21], Алексей Степин

Serve The Home: Intel-бенчмарки Xeon Platinum 9282 vs. EPYC 7742 в GROMACS некорректны [Обновлено]

Каждый производитель аппаратного обеспечения, будь то графические ускорители или процессоры, стремится представить свои решения в наиболее выгодном свете. Но иногда применяемые для этого методы трудно назвать корректными.

Издание Serve The Home (STH) считает, что опубликованные вчера результаты сравнительного тестирования процессоров Intel Xeon Platinum 9282 и AMD EPYC 7742 в реальных задачах не являются в полной мере объективными. И это мнение имеет под собой достаточно веские основания.

Intel утверждает, что система с двумя Xeon Platinum 9282 быстрее аналогичной платформы на базе AMD EPYC 7742 более чем на 30%. Однако, по мнению STH, результаты, показанные в одном из тестов, а конкретно в пакете GROMACS, нельзя назвать полностью корректными.

Во-первых, в тестировании был использован GROMACS версии 2019.3, который корректно работает со вторым поколением Xeon Scalable, но не умеет определять архитектуру AMD Rome (Zen 2) и правильно пользоваться её возможностями. Такая поддержка появилась только в GROMACS 2019.4, который вышел в начале октября. 

Во-вторых, значимые отличия были обнаружены в конфигурации тестовых систем. На обоих платформы был включен SMT, но для AMD суммарное количество потоков GROMACS составило 128, по количеству процессорных ядер, а вот в системе с Xeon  их было уже 224. Впрочем, по словам STH, у GROMACS действительно есть проблемы при работе на системах со слишком большим числом потоков, и даже с двумя 7742 это может быть непросто. 

В-третьих, разными были настройки суб-кластеризации NUMA и турбо-частот. Последние были включены для EPYC и отключены у Xeon, хотят тут оценить реальную степень влияния на результат трудно. Переключение с/на AVX-512 в ходе работы может влиять на турбо-частоты и общую производительность. Что касатеся NUMA, то, по данным STH, для EPYC суммарно получилось 8 доменов, а для Xeon — 4. Разбивка на домены обычно позволяет ускорить общение памяти с ядрами, так что выбор такого разделения неоднозначен. 

В итоге Intel удалось добиться победы, но превосходство составило всего 20%. STH приводит и другие различия в условиях тестирования, но, кажется, ключевым было именно использование не самой актуальной версии ПО. Как обычно, от программной оптимизации и тонкой настройки платформ производительность зависит куда сильнее, нежели от простого количества ядер. Не исключено, что сами тесты были сделаны давным-давно, но сумели погрязнуть в бесконечных корпоративных согласованиях.

Справедливости ради отметим, что и AMD не брезгует подобной тактикой выставления своих продуктов в выгодном свете. На Computex 2019 она показала сравнение будущих чипов Rome с актуальными Xeon в бенчмарке NAMD, не предоставив полного описания условий тестирования. Тут же выяснилось, что компания использовала для CPU Intel неоптимизированную версию ПО. 

UPD 07.11: Intel оперативно отреагировала и опубликовала обновлённые результаты и дала комментарии. Выяснилось, что, во-первых, в исходных тестах GROMACS 2019.3 вручную был собран с поддержкой AVX2 для EPYC. Тем не менее, Intel провела повторный тест с версией 2019.4, в которой эти инструкции задействуются автоматически. Во-вторых, в описании исходного теста закралась опечатка: EPYC использовали два потока бенчмарка на ядро. Правда, всё это существенных изменений в результатах не дало — разница между 2019.3 и 2019.4 составила 1,08%.

Постоянный URL: http://servernews.ru/997093
11.10.2019 [13:07], Алексей Степин

1S-платформа ASUS с AMD EPYC 7742 установила мировые рекорды в SPEC

ASUS опубликовала сообщение о том, что её новое решение RS500A-E10-RS12U на базе AMD EPYC второго поколения поставило ряд рекордов в тестах Standard Performance Evaluation Corporation (SPEC).

С учётом того, что тесты SPEC используются всеми производителями систем во всём мире, это указывает как на удачность архитектуры AMD Zen 2, так и на хорошую работу ASUS в области создания серверов на базе новых EPYC Rome.

Решениям компании удалось поставить 246 мировых рекордов в номинациях как для односокетных, так и для двухсокетных систем.

Конфигурация системы-рекордистки RS500A-E10-RS12U включает в себя флагманский процессор EPYC 7742 с базовым TDP 225 Вт. Он имеет 64 ядра и способен выполнять 128 потоков на частоте от 2,25 до 3,4 ГГц. Данной системе принадлежит целых восемь абсолютных рекордов в тестах SPECfp 2017, SPECfp 2017 rate, SPECint 2017 и SPECint 2017:

  • SPECrate 2017 Integer Rate Base
  • SPECrate 2017 Integer Rate Peak
  • SPECrate 2017 Floating Point Rate Base
  • SPECrate 2017 Floating Point Rate Peak
  • SPECspeed 2017 Integer Rate Base
  • SPECspeed 2017 Integer Rate Peak
  • SPECspeed 2017 Floating Point Rate Base
  • SPECspeed 2017 Floating Point Rate Peak

Сама платформа представляет собой решение для ЦОД и систем класса HPC. Она весьма компактна и довольствуется стандартным стоечным корпусом высотой 1U. Подсистема хранения данных представлена 12 лотками формата 2,5″ с поддержкой NVMe. Опционально RS500A-E10-RS12U может комплектоваться аппаратным RAID-контроллером.

Постоянный URL: http://servernews.ru/995469
03.09.2019 [21:21], Андрей Созинов

Пиковая теоретическая производительность — это ложь

Максимальная производительность суперкомпьютеров является величиной теоретической, рассчитываемой лишь на основе технических характеристик системы. Однако такие расчёты редко отражают реальное положение вещей, на что и указывает Ден Станционе (Dan Stanzione), директор Центра передовых вычислений Университета Техаса (TACC).

В качестве примера в своём докладе Ден Стенционе приводит суперкомпьютер Frontera, расположенный как раз в вычислительном центре Техасского университета. Особенностью данного компьютера является то, что для расчётов в нём используются, в частности, новые центральные процессоры Xeon Platinum 8280. Максимальная теоретическая производительность этой системы равна 38,7 петафлопс, тогда как тест производительности Linpack (HPL) оценивает производительность в 23,5 петафлопс. Это самый производительный публичный академический суперкомпьютер в мире.

Пиковая, или максимально возможная производительность системы рассчитывается теоретически: перемножаются количество ядер процессора, количество самих процессоров, ширина вектора, число операций FMA за такт и тактовая частота. Однако полученное значение не будет справедливо для разных задач и инструкций.

Например, при использовании инструкций AVX-512 процессоры Intel работают с более низкими тактовыми частотами из-за повышения температуры. Если базовая частота тех же Xeon Platinum 8280 составляет 2,7 ГГц, то при работе с AVX-512 она опускается, согласно данным TACC, в среднем до 1,8 ГГц. С такой частотой пиковая производительность Frontera составляет уже  25,8 петафлопс, что намного ближе к результату, полученному в Linpack.

Основная проблема при оценке производительности в настоящее время как раз и заключается в том, что тактовая частота динамически регулируется в зависимости от энергопотребления и температурных показателей процессора. Частота меняется непрерывно, и поэтому в каждый момент времени пиковая производительность будет разной.

Также стоит отметить, что есть способы повысить производительность. Например, использовать более эффективное охлаждение — в Frontera с помощью СЖО CoolIT удалось добиться устоявшейся частоты 2,0 ГГц при расчётах с AVX-512. И конечно, всё ещё зависит от программного обеспечения: одни приложения способны использовать ресурсы процессора более эффективно, нежели другие.

Да и тот же LINPACK уже давно критикуют за необъективность, так как он не учитывает другие важные факторы — эффективность работы с памятью и шинами, например. В качестве альтернативы разработан более современный бенчмарк HPCG.

Также эксперт отметил, что путаница с пиковой производительностью присуща всем современным процессорам, так как все они динамически меняют частоты. Например, по словам AMD, у её новых процессоров EPYC Rome при работе с инструкциями AVX2 частота не опускается ниже базовой. Однако boost-частоты могут быть ниже обычных значений. Дополнительную путаницу в расчёты может внести и настраиваемый уровень TDP. 

В общем, для каждого конкретного случая производительность будет разной, и сравнивать их сейчас напрямую довольно трудно. Впрочем, вычисления всё равно становятся «дешевле» — некогда «горячие» инструкции со временем становятся такими же обыденными и «холодными». 

Постоянный URL: http://servernews.ru/993476
29.11.2015 [09:50], Игорь Осколков

SC15: суперкомпьютеры РСК помогли победить команде университета Мюнхена в Student Cluster Competition

Команда студентов Технического университета Мюнхена TUMuchPhun победила в номинации «Лучшая производительность на тесте Linpack» (Highest Linpack) на системе РСК в Student Cluster Competition на выставке SC15. В общем зачёте из 9 команд сборная TUMuchPhun заняла 3-е место и была единственным представителем Европы на этих соревнованиях. Остальные команды представляли университеты Австралии, Китая, Колумбии, Тайваня и США.

Суть соревнования SCC сводится к получению максимально возможного результата в различных HPC-бенчмарках. При этом налагается ряд существенных ограничений: команда должна состоять из шести участников, все команды соревнуются в режиме реального времени в течение 48 часов во время проведения выставки, а к участию допускаются только коммерчески-доступные системы, которые предоставляются производителями. Всё оборудование должно потреблять не более 3120 Вт (26 А, 120 В) – для питания предоставляются два блока питания, причём если хотя бы на одном из них будет превышен лимит 1560 Вт, то команда получит штрафные очки. Разовый выход за порог 1800 Вт грозит дисквалификацией. Кроме того, командам отводится площадь 10 × 10 футов (примерно 3 × 3 метра) для размещения участников, 42” дисплея для демонстрации результатов и оборудования. При этом последнее должно умещаться в одну стойку высотой не более 42U, а отвод горячего воздуха разрешён только вертикально вверх. Командам разрешено находится на своём стенде не более 12 часов в день, а жюри поощряет автоматизацию процесса тестирования производительности и посещение команд основной экспозиции выставки

Зона Student Cluster Competition на SC15

Зона Student Cluster Competition на SC15

Для победы в SCC потребуется грамотный подбор оборудования, тонкая настройка и профилирование кластера, оптимизация программной составляющей. Жюри оценивает не только итоговый результат бенчмарков, но и общие познания и практические навыки участников в области суперкомпьютерных архитектур. В соревновании используются различные бенчмарки , причём один из них остаётся неизвестным участникам до начала мероприятия, что усложняет задачу. В этому году этим «загадочным приложением» стал новый бенчмарк HPCG. Кроме него использовалось следующее ПО: классический HPL (LINPACK), Trinity (реконструкция транскриптома по данным РНК-секвенирования), WRF (Weather Research and Forecasting, моделирование атмосферы и прогнозирование погоды), MILC (изучение квантовой хромодинамики) и  HPC Repast (социальное моделирование и расчета характеристик глобальной популяции). В последнем приложении участникам предложили рассчитать, что будет с человечеством в случае нашествия зомби.

Стенд команды TUMuchPhun

Стенд команды TUMuchPhun

Студентам из TUMuchPhun помогла российская компания РСК, ставшая технологическим спонсором немецкой команды. В распоряжении участников имелись система на базе одного вычислительного модуля RSC PetaStream (массивно-параллельная архитектура) и одного вычислительного узла «РСК Бриз» (кластерная архитектура), объединенных интерконнектом Mellanox EDR InfiniBand и общей подсистемой хранения данных. Итоговый результат 7,134 Тфлопс в тесте Linpack был получен на модуле  RSC PetaStream. Российская команда в последний раз победила на SCC четыре года назад – на SC11 студенты Нижегородского государственного университета выиграли соревнования в Linpack с результатом 1,3 Тфлопс.

Состав вычислительного модуля RSC PetaStream c пиковой производительностью 9,66 Тфлопс:

  • 8 узлов на базе Intel Xeon Phi 7120 (61 ядро, 16 Гбайт памяти GDDR5);
  • 488 х86-ядер и 128 Гбайт GDDR5.

Состав вычислительного узла «РСК Бриз» c пиковой производительностью 9,66 Тфлопс: 

  • 2 процессора Intel Xeon E5-2699 v3 (18 ядер с частотой 2,3 ГГц); 
  • 128 Гбайт памяти DDR4;
  • серверная плата Intel Server Board S2600WT.

Общая подсистема хранения объемом 7,2 Тбайт на основе SSD:

  • 3,2 Tбайт – два  Intel SSD DC S3610 (SATA, 1,6 Тбайт);
  • 4 Тбайт – Intel SSD DC P3608 (NVMe).
Постоянный URL: http://servernews.ru/924309
Система Orphus