Однако новая реальность диктует свои правила. Все крупные вендоры официально поставки и обслуживание своего оборудования в РФ прекратили, а самые ответственные даже заблокировали доступ к собственным сайтам. Есть, конечно, обходные пути, но за дополнительные деньги, время, а иногда и нервы. Вместе с тем в РФ уже давно существует рынок б/у-систем, к которому по трезвом размышлении и было решено обратиться.

Да, такое оборудование не самое новое (во всех смыслах), но зато выбор и доступность его достаточно велики, да и проблем с запчастями и иными комплектующими обычно нет. Основные опасения вызывает надёжность таких систем, которую нам и предстоит выяснить на собственном опыте. Но в общем случае подобное оборудование скупается у какого-нибудь крупного потребителя, который проводит регулярный массированный апгрейд инфраструктуры.

Так что и работает это оборудование, как правило, в надлежащих условиях, и проверку с заменой при необходимости отдельных узлов перед поставкой новому клиенту тоже проходит. Некоторые ещё упоминают экологичность, что тоже верно в том смысле, что электронных отходов будет гораздо меньше при повторном использовании. Но вот по итоговой энергоэффективности старые серверы соперничать с новыми вряд ли могут. Впрочем, это далеко не всегда критично.

Ещё одна важная особенность — в зависимости от производителя и возраста конкретного сервера разнится срок сопровождения платформы. То есть частота и оперативность выхода прошивок, ПО, драйверов и т. д. Это важно и для безопасности, и для корректности работы, и для доступа к новым функциям. Крупные «белые» вендоры нередко выпускают критические обновления даже после официального окончания поддержки платформы, но вот на прочие апдейты рассчитывать не стоит.

Про производительность отдельно не говорим — под каждую задачу нужна своя конфигурация. А вот что действительно стоит уточнить, так это вопрос совместимости. Речь как об интеграции в имеющуюся инфраструктуру, так и о списке поддерживаемых платформой компонентов, и о программной составляющей, и о возможности апгрейда в будущем. В любом случае призываем аккуратно просчитать все возможности, выгоды и риски перед тем, как решиться или не решиться на покупку б/у-оборудования.

Новый старый сервер

Мы же остановились на компании Galt Systems, которая выяснила требования и предпочтения и предложила на выбор несколько конфигураций, скорректировав по ходу общения некоторые параметры машины и проконсультировав по ряду вопросов. В итоге выбор пал на платформу Dell PowerEdge 730: 2 × Intel Xeon E5-2695 v4 (18C/36T, 2,1/3,2 ГГц, L3-кеш 45 Мбайт, TDP 120 Вт, FCLGA2011-3), 24 × DIMM DDR4, SFF-корзина на 16 накопителей SAS-3/SATA-3, RAID-контроллер PERC H730, 2 × БП 495 Вт, 4 × 1GbE (RJ-45). Стоит такая базовая конфигурация 122 350 руб. (стоимость может меняться в связи с колебаниями курса валют). Конкретный набор опций и стоимость лучше уточнять непосредственно перед покупкой, но порядок цен понятен.

Galt Systems закупает оборудование из крупных дата-центров Европы и США, то есть оно содержалось и эксплуатировалось в адекватных условиях. Перед закупкой у поставщика в обязательном порядке запрашивается фото, а при поступлении на склад оборудование проверяется визуально и программно в различных тестах. В целом, компания, по её словам, имеет широкую сеть поставщиков в Европе, США, Китае и России. На складе компании доступно более 2000 наименований серверных комплектующих, а также сетевое оборудование. Конкретную конфигурацию или комплектующие можно подобрать из того, что есть в наличии, или же заказать отдельно.

Перед отправкой заказчику оборудование подвергается осмотру и нагрузочному тестированию с отправкой логов и видео по его желанию. На системы и комплектующие с сокетом LGA1366/2011 стандартная гарантия составляет 1 год, а на платформы с сокетом LGA2011-3/3647 — 3 года. Гарантию можно продлить до 5 лет. У Galt Systems есть собственный сервисный центр. Компания обещает, что среагирует на обращение в течение часа. При необходимости специалисты компании могут самостоятельно забрать неисправное оборудование.

Dell PowerEdge R730

В нашем случае конфигурация включала корзину на 8 накопителей с лотками для них, два блока питания мощностью 750 Вт каждый, рельсы и салазки, сетевые порты RJ45 2 × 1GbE (Intel I350) + 2 × 10GbE (Intel X540), 8 × 32 Гбайт DDR4-2400 ECC Registered (Micron), PERC H730P Mini (2 Гбайт + BBU; 8 портов; RAID0/1/5/10/50/60, Non-RAID/HBA). Для тестов ко всему этому были добавлены наши базовые накопители Intel/Solidigm D3-S4510 (1,92 Тбайт SATA SSD) в количестве шести штук: два в зеркале (под ОС) и четыре в RAID5. Вот эту машину и рассмотрим, тем более что ранее публично доступных обзоров серверов Dell такого класса у нас не было в принципе.

Ссылку на официальное описание продукта на всякий случай дадим, но Dell давно запретила доступ к своему сайт с территории РФ, так что можно воспользоваться альтернативным источником. Но если говорить коротко, то Dell PowerEdge 730 — это универсальный двухсокетный 2U-сервер (стандартной глубины) на базе чипсета серии Intel C610 для CPU Intel Xeon E5-2600 v3/v4 (Haswell-EP/Broadwell-EP). Процессоры эти далеко не новы: например, у них нет поддержки AVX-512 и некоторых других более современных наборов инструкций.

Максимальный объём памяти — 3 Тбайт DDR4-2400 в 24 DIMM. Поддерживаются четырёхранговые LRDIMM объёмом 64/128 Гбайт, которыми как раз и можно набрать максимум DRAM для двух CPU, а также 8/16/32-Гбайт двухранговые RDIMM и 4/8-Гбайт одноранговые RDIMM. В случае 2DPC/3DPC возможно снижение до 1866/2133 MT/s.

Дисковые корзины и бекплейны SAS-3/SATA-3 представлены в конфигурациях SFF x8/x16 и LFF x8 с поддержкой горячей замены накопителей. В виде мини-плат, не занимающих PCIe-слот, доступны RAID-контроллеры HS130 (софт)/H330/H730(P). А вот PERC H830 имеется только в виде PCIe-адаптера. Увы, все эти контроллеры оснащены BBU с аккумулятором, за состоянием которого придётся следить.

Есть ещё несколько дополнительных опций, которые могут быть доступны не всегда. В первую очередь это IDSDM — внутренний модуль для двух SDXC-карт (запись на обе, чтение с одной), который можно использовать, например, для загрузчика, гипервизора или как ещё одно устройство хранения. Только надо учитывать, что работают они через USB 3.0. При этом на плате есть и обычный порт Type-A такого же стандарта. Наконец, на передней панели есть ещё один SD-ридер для функции vFlash, которая позволяет монтировать сохранённые на карточки образы, применять заранее заданную конфигурацию (XML) и т. д. Слоты IDSDM и vFlash не поддерживают горячую замену.

Интегрированный сетевой адаптер предлагается в трёх вариантах: 4 × 1GbE RJ45, 2 × 1GbE RJ45 + 2 × 10GbE RJ45, 2 × 1GbE RJ45 + 2 × 10GbE SFP+, 4 × 10GbE SFP+ (конкретные вендоры зависят от модели NDC). Все остальные карты расширения устанавливаются в слоты PCIe, которых тут немало. При наличии всех трёх райзеров по умолчанию доступны три x8-слота для низкопрофильных карт, а также три слота x8 и один слот x16 для FHFL-карт. Также есть опция с двумя слотами x16. Физически же все слоты имеют исполнение x16. Поддерживается только PCIe 3.0. И в этом как раз существенный недостаток старой платформы — даже если вы захотите установить какой-нибудь современный контроллер, адаптер или ускоритель, то ему может не хватить пропускной способности шины.

Кроме того, есть определённые лимиты по питанию и охлаждению: до двух двухслотовых 300-Вт ускорителей (для второго используется альтернативный райзер) или четырёх 150-Вт карт с пассивным охлаждением. А ещё для их установки необходимо наличие обоих процессоров (причём с TDP до 120 Вт), блоки питания мощностью 1100 Вт, а внешняя температура не должна быть выше +30 °C (против обычных «от +10 до +35 °C»).

Охлаждается платформа шестью вентиляторами с возможностью горячей замены. Доступны три профиля охлаждения, но также можно вручную скорректировать минимальную скорость вращения и сдвиг скорости относительно базовых значений (в процентах) + задать предельную температуру на выходе из шасси.

Блоки питания бывают мощностью 495, 750 и 1100 Вт. Все поддерживают на входе 100–240 В AC (DC-варианты рассматривать не будем) и PFC. БП могут работать как параллельно, так и подстраховывая друг друга. Они, как и вентиляторы, имеют характерную оранжевую окраску некоторых элементов, которая указывает на возможность горячей замены. Голубым же цветом помечены компоненты, которые можно демонтировать только в выключенном состоянии сервера. В целом и внутри, и снаружи шасси всё организовано интуитивно понятно.

На передней панели есть индикатор текущего состояния сервера, кнопка питания со встроенным индикатором, утопленная кнопка NMI и кнопка/индикатор идентификации сервера, которая так же нужна для перехода к BIOS в случае проблем с загрузкой и сброса iDRAC. Первые две можно отключить в настройках, а для третьей можно запретить функцию сброса. Рядом находятся VGA-выход, упомянутый выше SD-слот vFlash и пара портов USB 2.0 Type-A, один из которых можно задействовать для iDRAC Direct (фактически при подключении на хосте становится доступен сетевой интерфейс). Лотки накопителей снабжены двумя индикаторами: состояния и активности. Ими тоже можно помигать для идентификации дисков или массивов.

А ещё тут есть однострочный монохромный LCD-экранчик с подсветкой и три кнопки для навигации. На нём можно просмотреть IPv4/IPv6/MAC-адрес iDRAC, сервисный тег, инвентарный тег, текущий уровень энергопотребления и температуру воздуха на входе, имя хоста, модель сервера или вручную заданную строку, а также сообщения об ошибках и наличие активных подключений к IP-KVM. Также, если это разрешено в настройках, кнопками можно выбрать режим DHCP или Static IP, задав в последнем случае параметры IP-подключения и DNS. Про совсем специфические опции вроде ленточного накопителя, оптического привода, uSATA-накопители или NFC-доступа Quick Sync говорить не будем.

На задней панели есть кнопка идентификации системы, VGA-выход, два порта USB 3.0 Type-A, последовательный порт, четвёрка Ethernet-портов интегрированного сетевого контроллера (см. выше), а также выделенный порт для iDRAC. Ну и два блока питания c индикаторами состояния. Тут же есть очень удобная ручка, которая делает шасси более ухватистым. И в целом Dell PowerEdge R730 можно смело назвать весьма продуманным и удобным.

BIOS и Lifecycle Manager

Системные настройки, доступные после старта системы, охватывают не только BIOS, но и ряд параметров iDRAC, а также конфигураторы набортных устройств, в данном случае представленных сетевыми адаптерами и RAID-контроллером. Непосредственно в BIOS параметров на самом деле не так чтобы много, но всё самое необходимое есть. Из дополнительных полезных опций есть возможность отключения кнопок питания и NMI, а также USB-портов, алгоритм поведения при потере питания, настройка бифуркации слотов PCIe и т.д.

Есть также ряд настроек, связанных с работой памяти и процессора. По умолчанию используется профиль DAPC (производительность на ватт), в котором сервер сам определяет оптимальные параметры работы. Часть других профилей открывает доступ к массе разнообразных настроек, но если нет ясного понимания, за что они отвечают, то лучше их и не трогать. Собственно говоря, в нашем случае всё было оставлено по умолчанию, кроме переключения на UEFI и включения Secure Boot.

В настройках сетевых контроллеров, в общем, тоже нет ничего необычного. Из дополнительных опций тут есть поддержка iSCSI и FCoE (PXE, конечно, тоже есть). А вот RAID-контроллер предоставляет массу опций, из которых, пожалуй, стоит обратить внимание только на кеширование. Контроллер умеет работать с SSD и поддерживает SED. Кроме того, есть мастер создания массивов общего назначения или под конкретные нагрузки, которым мы и воспользовались для формирования с настройками по умолчанию RAID1 из двух SSD и RAID5 — из четырёх оставшихся.

Наконец, есть ещё одна удобная встроенная утилита Lifecycle Manager. Она, как можно понять из названия, предназначена для управления жизненным циклом сервера. И именно с неё можно начинать знакомство с системой, хотя и необязательно. Утилита позволяет обновить (и откатить) прошивки, просмотреть исходную и текущую конфигурацию оборудования и все связанные с этим логи, протестировать все компоненты, а также предлагает несколько мастеров для быстрой настройки системы и разворачивания ОС (но уже устаревших).

Заодно в ней можно экспортировать информацию об оборудовании и состоянии системы, импортировать/экспортировать профиль (для быстрого разворачивания однотипных конфигураций), а также сбросить все параметры к заводским установкам для утилизации или повторного использования сервера. Так что можно в любой момент посмотреть, что происходило с его компонентами. Кроме того, у каждой системы есть сервисный тег, по которому на сайте Dell можно узнать об обращениях в рамках контракта на поддержку и быстро найти всю документацию и ПО.

iDRAC8

Одним из важных, если не определяющим, фактором является не только и не столько аппаратная начинка, механическая конструкция платформы или её расширяемость, сколько удобство управления и эксплуатации. Dell предлагает систему Integrated Dell Remote Access Controller. В нашем случае это iDRAC8. Опять-таки, не самый новый вариант, но для повседневных задач достаточный. Самое главное тут вот что — имеется существенная разница между лицензиями Basic, которая предоставляется по умолчанию, и Enterprise. Именно последняя даёт наиболее полную функциональность.

Наиболее полезные функции Enterprise-версии включают iKVM-консоль вместе с возможностью удалённого монтирования образов и VNC-доступом, полноценную поддержку vFlash, запись экрана при сбое и загрузке, некоторые виды графиков и уведомлений, интеграцию с AD/LDPA, быстрое сохранение/восстановление конфигурации. Есть и совсем странные ограничения вроде отсутствия поддержки NTP и удалённого syslog в Basic-версии. В общем, для наибольшего удобства лучше приобрести лицензию Enterprise, которую и рассмотрим ниже.

Работа с iDRAC8 осуществляется с помощью веб-интерфейса (можно установить свои TLS-сертификаты) или же консольного доступа RACADM, локально или удалённо. В первом случае доступ организован через виртуальный (USB) или физический NIC, а при наличии в ОС драйвера и агента в iDRAC отправляются дополнительные сведения и сообщения о некоторых событиях. Кроме того, есть доступ по Telnet и SSH, а также поддержка SNMP v3, Redfish, IPMI over LAN и SOL. Для Android и iOS также есть утилита OpenManage Mobile.

Локально доступно добавление до 16 пользователей. Каждому даётся один из трёх уровней доступа IPMI (администратор, оператор, пользователь), выбранные права для самого iDRAC и загрузка ключей SSH (и смарт-карты при наличии). Есть и упомянутая выше поддержка AD/LDAP. Всего этого вполне достаточно и для собственно администрирования, и мониторинга. Сессии других пользователей при наличии можно принудительно завершить. А в iKVM-консоли также есть общий чат.

Для доступа к собственно iDRAC настраиваются IPv4/IPv6-адреса, причём возможен вариант как с выделенным портом, так и с использованием одного из тех, что даёт интегрированный сетевой контроллер. Предусмотрена возможность переключения на запасной порт и фильтрации по IP (фактически запрет на доступ отовсюду, кроме заданной подсети). Из необычных опций — загрузка конфигурации по сети и её применение при старте системы. Есть ещё функция автообновления ПО с CIFS/NFS/(T)FTP/HTTP(S)-ресурса, но она уже не очень актуальна.

Структура самого веб-интерфейса iDRAC8 чуточку нелогична — часть функций явно добавили позже в ближайший похожий по смыслу подраздел. Тем не менее разобраться в нём просто. Остановимся только на ключевых возможностях, а с остальными можно поверхностно ознакомиться с помощью многочисленных скриншотов.

На главной странице собраны общие сведения о состоянии сервера, его подсистем, а также логи и рабочие заметки, в которые попадают сведения о подключении посредством OMM. Тут же можно посмотреть на превью iKVM-консоли и запустить её. В соседних вкладках можно просмотреть детальное описание установленных компонентов, сведения о подключённых сетевых образах и vFlash, а также очередь задач. Вся страница (как и многие другие здесь) пестрит ссылками, благодаря которым можно быстро «провалиться» к нужным параметру, подразделу или сведениям.

Количество наблюдаемых параметров системы составляет несколько десятков штук. Они разбиты на шесть категорий и три уровня важности: информирование, предупреждение, критическое значение. Для каждого из них можно настроить отдельное уведомление или отправку сообщения посредством IPMI, SNMP, E-Mail и Redfish. Для ряда событий можно настроить автоматическое действие: отключение сервера, перезагрузка или сброс по питанию. Отдельные графики предусмотрены для наблюдения за текущими уровнем загрузки системы, её энергопотреблением и температурой.

Для удалённого управления сервером есть iKVM-консоль, к счастью, в виде HTML5-приложения. Впрочем, для желающих поностальгировать (скорее, помучиться) есть и Java-версия консоли, и даже ActiveX. VNC-сервер тоже имеется, но он полезен, пожалуй, только при доступе с мобильного устройства — в OMM есть быстрый вызов клиента. Количество одновременных iKVM-сессий не может превышать шести, при этом участникам доступен общий чат. Естественно, есть поддержка удалённого монтирования образов.

Наконец, отдельный раздел посвящён работе с RAID-контроллером. Доступные параметры, в целом, примерно те же, что есть в системных настройках при старте сервера, но в вебе их несколько больше. Кроме того, здесь всё гораздо нагляднее, что добавляет удобства и при работе с массивом, и при просмотре состояния контроллера, бэкплейна и накопителей.

Тестирование

Для небольшого теста на сервер была установлена ОС Windows Server 2022 Standard 21H2. Ничего подсовывать во время установки не потребовалось, а с сайта Dell пришлось скачать лишь пяток пакетов драйверов и ПО. Часть, похоже, вообще подтянулась через Windows Update. В целом никаких существенных инцидентов за почти месяц работы с системой не было.

В Geekbench 5 система набрала в одно- и многопоточном тестах 424 и 16269 баллов соответственно, в Geekbench 6 — 634 и 6009. В CPU-Z (2017.1 x64) аналогично 401 и 8210 баллов.

В SPECWorkstation 3.1 дисковая подсистема получила рейтинг 0,81, а для CPU в силу невозможности провести полноценное тестирование из-за отсутствия драйверов с поддержкой нужной версии OpenGL для встроенного адаптера Matrox G200eR приведём отдельные результаты: 7zip 1.54, Blender 4.49, Convolution 17.88, fsi 5.48, handbrake 2.73, LuxRender 10.09, octave 0.52, python36 0.9.

Заключение

Непосредственно к работоспособности сервера никаких претензий за время нашего тестирования не возникло. Однако посмотрим, что будет через год, и по возможности обновим материал. Общее впечатление от машины тоже положительное. Возможностей платформы вполне достаточно даже по современным меркам, а по удобству и управляемости она не хуже многих более современных решений классом пониже. Да, придётся смириться, что программные обновления для неё если и будут выходить, то теперь уже крайне редко, а возможности аппаратного апгрейда не всегда очевидны.

С точки зрения голой производительности вся система, конечно же, заметно уступает более новым решениям. Но тут, как и говорилось выше, всё зависит от конкретных задач. А вот по стоимости и доступности б/у-решение однозначно выигрывает. И речь не только о шасси, но и о комплектующих. В нашем случае только память и накопители оказались сравнимы по стоимости со всем остальным «железом». Удалось ли в итоге сэкономить? Однозначно да. Стоит ли бояться б/у-серверов? Можно уверенно сказать, что нет, но только если вы нашли хорошего и надёжного во всех смыслах поставщика.

Приобрести сервер можно по ссылке