На прошлой неделе мы писали о решении ITRenew Sesame, которое позволит небольшим компаниями получить недорогое, но производительное б/у «железо» от Facebook✴ и других гигантов. Особенность такого оборудования в том, что оно имеет OCP-исполнение.
И самый простой способ познакомиться с миром OCP — посмотреть на новые решения самой Facebook✴. Среди них есть одноюнитовое шасси Sonora Pass, но это не единственная новинка, использующая самые свежие CPU Intel Xeon Cooper Lake. Есть и специфичные для OCP платформы Yosemite v3 и Delta Lake.
Привычные нам стоечные форм-факторы серверов создавались в те времена, когда вопрос упаковки вычислительных мощностей не стоял столь остро, как сейчас. В лучшем случае, стандартный 19-дюймовый корпус может содержать системную плату с четырьмя процессорами, но чаще ограничен двухсокетными конфигурациями.
Facebook✴ использует стандарт стоек Open Rack, главное в которых — возможность более плотного размещения серверов (21"), увеличение воздушного потока и единая шина питания (12 В DC). Yosemite v3 являет собой уже третье поколение серверных систем в этом стандарте.
В третьей версии 4 юнита вертикального пространства стойки вмещает в себя три модуля Yosemite v3. Каждый из этих модулей может включать в себя до четырёх сверхкомпактных серверов Delta Lake на базе новых процессоров Intel Cooper Lake-SP. Предусматриваются разные варианты модулей: классический «вычислительный» с четырьмя системными платами, вариант с собственным флеш-хранилищем, версия с акселераторами и модель с интегрированным сетевым коммутатором. В зависимости от решаемой задачи, стойка может включать различные сочетания Yosemite v3.
Два последних варианта предусматривают два процессорных гнезда вместо четырёх, но в них предусмотрено пространство для размещения ГП-ускорителей или собственной сетевой подсистемы, включающей в себя выделенные сетевые адаптеры и коммутатор. Все четыре варианта базируются на шасси высотой 4U и шириной в треть стойки, в верхней части которого размещается базовая плата с общим сетевым адаптером, а в задней — платы питания Medusa Board.
«Лезвия» с системными платами быстросъёмные. Основная модель «лезвия» носит название Delta Lake. Она представляет собой компактную системную плату с процессором Intel Xeon Scalable третьего поколения (Cooper Lake). Эти платы изначально создавались с прицелом на повышенный уровень производительности в системах машинного интеллекта и принятия решений.
За отвод тепла отвечает компактная, но мощная система охлаждения с четырьмя тепловыми трубками и дополнительными секциями радиаторов. Поддерживаются расширенные возможности удалённого управления и администрирования, имеется пара набортных разъёмов для накопителей типа M.2. Также платы Delta Lake поддерживают новый стандарт модулей Intel Optane DCPMM под кодовым названием Barlow Pass.
Помимо Yosemite v3, Facebook✴ представила также новую платформу для запуска нейронных сетей (инеференс). Каждый модуль этой платформы состоит из системного модуля Yosemite v2.50 и модуля расширения Glacier Point v2, общающегося с ЦП посредством 16 линий PCI Express 3.0; особенный интерес представляет именно последний.
В этом модуле реализована возможность установки как стандартных одинарных модулей M.2 (теплопакет до 14 Ватт), так и двойных, с теплопакетом 25 Ватт. Всего модуль расширения может содержать до шести двойных или двенадцати одинарных плат с интерфейсом M.2. Два таких блока с модулями GPv2 устанавливаются в шасси Yosemite v2.50.
В сравнении с Yosemite v2 с 600 до 720 Ватт увеличена мощность подсистем питания, реализована поддержка 100GbE, сетевой контроллер подключён к процессору, а не к мосту PCH, как ранее.
Новая платформа для инференс-систем
В данном решении особый интерес вызывает поддержка M.2 двойной ширины. Сам по себе стандарт M.2 достаточно компактен, но ширина одинарной платы означает и ограничение по габаритам чипа ускорителя. Двойная ширина позволяет это ограничение преодолеть и оснащать ускорители более мощными и крупными ASIC, но не терять при этом электрической и механической совместимости.
Такой модульный дизайн обеспечивает сочетанию Yv2.50 и GPv2 непревзойдённую гибкость, ведь в единой системе могут уживаться различные ускорители на базе разных чипов. А благодаря единой системе BMC и поддержке стандартных протоколов SMBUS, UART, JTag и I2C, обеспечивается полный спектр средств удаленного управления и мониторинга. Ограничение по ширине интерфейса к основному ЦП нивелируется тем, что GPv2 имеет собственный коммутатор PCIe, так что ускорители, в нём установленные, могут общаться и в режиме «точка-точка».
Платформа Yv2.50 + GPv2 имеет свои недостатки, но компания-разработчик их осознаёт. В частности, в будущих версиях, возможно, каждый сервер будет иметь собственный контроллер BMC и сетевой процессор, а модуль расширения получит поддержку PCI Express 4.0, что снимет возможные проблемы с нехваткой пропускной способности.
При этом необходимо отметить, что Facebook✴ является участником проекта OCP и платформа Yv2.50 + GPv2 имеет открытые спецификации. Подробнее о них можно узнать на wiki-странице проекта. Отдельно опубликованы спецификации на ускорительные модули M.2 обычной и двойной ширины.
Источник:
