Schneider Electric выступила с важным заявлением — оборудование для эффективной работы с ИИ-системами оказалось столь ресурсоёмким, что, возможно, операторам и строителям дата-центров придётся пересмотреть принципы создания и модернизации подобных объектов. Компания в своём исследовании даже отметила, что некоторые существующие ЦОД вряд ли подлежат модернизации в принципе.
Дело в том, что ИИ-системы обычно требуют сетевой инфраструктуры с низким временем задержки передачи данных в больших объёмах и «уплотнения» стоек, к чему инфраструктурные характеристики нынешних ЦОД просто не готовы. В условиях, когда один современный ускоритель может потреблять более 700 Вт, а серверные системы перешагнули за 10 кВт, мощностей современных ЦОД явно недостаточно, ведь для тренировки современных больших языковых моделей (LLM) за разумное время нужен не один-два ускорителя, а десятки или сотни стоек.
Фото: Anthony Indraus / Unsplash
В Schneider Electric заявляют, что большинство дата-центров имеет лимит в 10–20 кВт на стойку, а для работы с LLM крайне выгодно упаковать как можно больше оборудования в одну стойку, чтобы уменьшить задержки, избежать заторов в сети и вообще поменьше тратиться на интерконнект. Именно для этого NVIDIA, например, развивает NVLink. Хотя дешёвым такое решение вряд ли не назовёшь, по TCO оно действительно может оказаться выгоднее. Впрочем, с инференсом ситуация не столь печальна, поскольку ресурсов требуется гораздо меньше.
Источник: Schneider Electric
Так или иначе, встаёт вопрос о повышенном энергоснабжении стоек (более 20 кВт) и эффективном теплоотводе этой мощности. Проблемы разрешимы, но операторам придётся менять физическую инфраструктуру. Например, необходим переход с 120/208 В на 240/415 В, который позволит уменьшить число цепей. Впрочем, в самой Schneider Electric подчёркивают, что даже современные мощные PDU плохо подходят для таких нагрузок — их надо или ставить несколько на стойку, или вообще заказывать кастомные. Более того, придётся озаботиться защитой от появления дуговых разрядов.
Источник: Schneider Electric
Что касается охлаждения, то Schneider Electric поставила лимит в 20 кВт/стойку, выше которого избежать СЖО уже никак не удастся. Компания склоняется к системам прямого жидкостного охлаждения с водоблоками для горячих компонентов, а вот к погружным СЖО относится прохладно, особенно к двухфазным СЖО. Причина кроется в использование в них PFAS-химикатов, запрет которых возможен в Евросоюзе. В любом случае рекомендуется внимательно отнестись к выбору СЖО из-за фактического отсутствия единых стандартов.
Источник: Schneider Electric
Если особенности строений всё-таки допускают модернизацию (а это далеко не всегда так), рекомендуется использование более широких стоек высотой от 48U (не забыв про высоту проёмов и ворот) с глубиной монтажа оборудования не менее 40″, способных выдерживать статическую нагрузку не менее 1,8 т. Наконец, Schneider Electric советует использовать широкий ассортимент специализированного ПО для управления инфраструктурой ЦОД, электроснабжением и прочими аспектами работы — такое ПО способно выявить возможные проблемы до того, как они окажут критическое влияние на критические для бизнеса рабочие процессы.
Источник:
