Моделирование и цифровые двойники позволят проектировщикам дата-центров, строителям и операторам возводить высокоэффективные объекты. Но создать цифрового двойника ЦОД с точным представлением всех компонентов суперкомпьютерного комплекса для HPC и ИИ-задач — непростая задача.

С ней поможет справиться платформа моделирования NVIDIA Omniverse для совместного виртуального проектирования. На конференции SC22 компания NVIDIA продемонстрировала, как эту платформу можно использовать для улучшения проектирования и разработки сложных подсистем суперкомпьютерных ЦОД.

Omniverse позволяет операторам ЦОД агрегировать данные из сторонних приложений автоматизированного проектирования, моделирования и мониторинга, обеспечивая возможность работы с полными наборами данных в реальном времени. На конференции также была продемонстрирована NVIDIA Air, платформа моделирования сети ЦОД. С помощью NVIDIA Air разработчики смогут смоделировать и предварительно проверить точную физическую и логическую топологию сети.

Изображения: NVIDIA

Сообщается, что при создании одного из новейших ИИ-суперкомпьютеров NVIDIA было использовано несколько наборов инженерных данных из сторонних отраслевых инструментов, таких как Autodesk Revit, PTC Creo и Trimble SketchUp. Это позволило проектировщикам создать точную модель машины и ЦОД в формате Universal Scene Description (USD), используя которую они совместно дорабатывали проект в режиме реального времени.

Разработчики также использовали PATCH MANAGER, приложение для планирования прокладки сети, учитывающего всё вплоть до физического расположения кабелей. С PATCH MANAGER, подключенным к Omniverse, сложная топология соединений (от порта до порта), компоновка стоек и узлов, а также кабели могут быть интегрированы непосредственно в модель ЦОД. Для прогнозирования воздушных потоков и теплообмена использовалось ПО Cadence 6SigmaDCX, дополненное ИИ-моделями от NVIDIA Modulus, которые позволяют в режиме, близком к реальному времени, моделировать изменения теплоотдачи и охлаждения в сложных условиях.

После завершения строительства ЦОД его датчики, систему управления и телеметрии можно подключить к цифровому двойнику в Omniverse, чтобы отслеживать его работу в режиме реального времени. Благодаря идеально синхронизированному цифровому двойнику инженеры смогут моделировать часто случающиеся инциденты, такие как скачки мощности или сбои системы охлаждения. Операторы смогут использовать ИИ-рекомендации для повышения энергоэффективности дата-центра и сокращение выбросов CO₂. Цифровой двойник также позволит им тестировать и проверять обновления ПО и компонентов перед их установкой в реальном ЦОД.

Долгое время инвесторы вкладывали значительные средства как в строительство цифровой инфраструктуры, так и в создание коммерческой недвижимости, включая логистические терминалы и склады. В последнее время компании, занимающиеся реализацией логистических проектов, всё чаще обращаются к созданию дата-центров, видя в отрасли большой потенциал для роста.

Несмотря на то, что развитие электронной коммерции ведёт к стремительному росту спроса на логистические объекты, ответственные за реализацию таких проектов компании обращают всё больше внимания на рынок ЦОД, претендующий ровно на те же площадки — в обоих случаях необходимы большие площади вблизи густонаселённых районов, развитая инфраструктура и доступ к источникам энергии. Крупные игроки в сфере недвижимости всё чаще ищут партнёрства с операторами ЦОД для создания новых облачных площадок.

Источник изображения: Paul Hanaoka/unsplash.com

После скачка спроса на логистическую инфраструктуру в связи с пандемией COVID-19 бум в данном секторе продолжается и, по некоторым данным, стоимость аренду продолжает расти из-за нехватки подходящих площадок и роста расходов на землю, материалы и труд. При этом всеобщая цифровизация ведёт к росту спроса на облачные ресурсы. В некоторых случаях гиганты вроде AWS, Alibaba и JD.com являются крупными игроками на обоих рынках, испытывая потребность как в складских терминалах, так и в больших IT-кампусах, что ведёт к дополнительному росту спроса на свободную землю и инфраструктуру.

С одной стороны, известны многочисленные случаи сноса дата-центров для строительства распределительных центров для товаров — как в США, так и за их пределами. С другой — многие компании, занятые реализацией логистических проектов, наоборот, переключаются на строительство кампусов ЦОД. Большое значение играет скорость ввода объекта в эксплуатацию. В частности, эксперты отрасли говорят о том, что большое количество доступных средств является необходимым, но не единственным требованием к бизнесу, желающему реализовать ЦОД.

Источник изображения: İsmail Enes Ayhan/unsplash.com

В этом отношении логистические компании, имеющие большой опыт и прочие ресурсы для поиска подходящей земли, имеют преимущество перед конкурентами. Если компании-строителю удаётся получить землю, инфраструктуру и все необходимые разрешения для эксплуатации ЦОД, её предложение может быть довольно заманчивым для долгосрочной аренды. При этом для операторов смысла в краткосрочной аренде нет, поскольку объём инвестиций в IT-инфраструктуру с их стороны значителен.

По мнению экспертов, наиболее перспективным может быть сотрудничество в регионах, где доступной подходящей земли немного, а у потенциального партнёра оператора ЦОД имеется хорошее земельное портфолио и инфраструктура, которую можно перепрофилировать под развёртывание дата-центров. Там, где земли много или, например, отсутствует развитая кабельная инфраструктура, большого смысла в таком сотрудничестве нет. И хотя операторы ЦОД предпочитают иметь собственные площадки, высокая скорость ввода объектов в строй, которую могут предложить сторонние фирмы, может сыграть решающую роль при принятии решений.

МТС объявила о запуске масштабной программы расширения сети центров обработки данных с целью развития облачных сервисов. На первом этапе компания планирует развернуть четыре больших вычислительных комплекса в Ростове, Туле, Екатеринбурге и Хабаровске. Под строительство ещё 15 дата-центров МТС выкупит землю и подведёт к площадкам мощности. Для реализации первого этапа программы, рассчитанного до 2024 года включительно, потребуется порядка 6 млрд руб.

По данным ComNews, заниматься проектом будет «МТС Веб Сервисы», дочерняя компания телекоммуникационного оператора. На втором этапе программы — после 2024 года — компания намерена объединить в единую инфраструктуру все построенные центры обработки данных, а также микро-ЦОДы, автозалы и серверные станции, размещённые на арендованных площадях.

Источник изображения: cloud.mts.ru

Инфраструктурная база будет насчитывать более 100 объектов и объединит самой большой в стране сетью дата-центров свыше 20 российских городов — практически все федеральные округа. В настоящий момент в облачной инфраструктуре МТС задействованы 14 географически распределённых ЦОД стандарта надёжности Tier III.

Удастся ли компании осуществить задуманное в нынешних реалиях, покажет время. Для реализации столь масштабного проекта необходимы соответствующие комплектующие и серверное оборудование, запасы которых ограничены и в условиях дефицита вряд ли смогут покрыть потребности таких крупных заказчиков, как МТС. Более подробно раскрыть планы по строительству новых ЦОД в компании обещали осенью.

Компания Meta* приступила к расширению кампуса дата-центров DeKalb в штате Иллинойс (США), которые, как предполагается, будут применяться для дальнейшего развития метавселенной. Для того, чтобы разработать материал для новых построек, Meta* прибегла к помощи искусственного интеллекта — специально подобранные «зелёные» компоненты позволят частично заменить традиционный бетон.

Цемент является основой множества современных строительных материалов, применяемых в промышленных масштабах — по имеющейся статистике на его производство приходится порядка 8 % всех углеродных выбросов в мире. Для того, чтобы создать более приемлемую для экологии альтернативу, Meta* объединила усилия с Университетом Иллинойса в Урбане-Шампейне (UIUC), Массачусетским технологическим институтом (MIT) и IBM.

Источник изображения: tech.fb.com

При участии системы искусственного интеллекта была обработана база данных со сведениями о характеристиках и компонентах бетонов. В результате проведённой работы была подобрана смесь летучей золы и шлака, способная частично заменить классический цемент. Полученные данные были переданы поставщику бетона — компании Ozinga, которая оптимизировала смесь исходя из своего опыта и доступности материалов, сохранив при этом необходимую прочность.

Новый «зелёный» бетон, по оценкам Meta*, обеспечивает на 40 % меньший углеродный выброс при создании. Помимо двух уже строящихся зданий для кампуса будут построены ещё три с использованием новых технологий. По имеющимся сведениям, новую смесь уже применили при строительстве второстепенных объектов. Общая площадь зданий ЦОД составит более 222 тыс. м².

Источник изображения: tech.fb.com

Как и многие штаты, Иллинойс предложил в 2019 году налоговые льготы на ЦОД-оборудование для привлечения операторов. Meta* так и не воспользовалась данными преимуществами, но от послаблений при расчётах налога на собственность не отказалась. После введения объектов в эксплуатацию новые ЦОД не только будут способствовать расширению метавселенной, но и обеспечат работой более 200 человек.

На момент первого анонса проекта Meta* обещала, что кампус будет использовать 100 % возобновляемой энергии, а строения получат золотой сертификат Leadership in Energy and Environmental Design (LEED) за экологическую безопасность конструкции. Общий объёмы инвестиций в кампус в Иллинойсе составят более $1 млрд. Ранее сообщалась, что Meta* активно наращивает инвестиции в строительство ЦОД и сетевую инфраструктуру по всему миру.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Согласно отчёту iKS-Consulting и 3data Colocation Index, в Московском регионе, на который приходится 72 % всего российского рынка колокейшн и до 70 % российского рынка дата-центров, сейчас наблюдаются большие проблемы со свободными мощностями коммерческих ЦОД. На данный момент в ЦОД региона осталось лишь 800 свободных стойко-мест, наименьшее с 2018 года количество, тогда как в прошлом году на конец I квартала это показатель равнялся 2,86 тыс. стойко-мест.

Ситуация осложняется тем, что в связи ростом дефицита на комплектующие для строительства новых ЦОД и поддержки в рабочем состоянии действующих дата-центров, ранее поставляемые зарубежными производителями (Schneider Electric, Stulc, Vertiv), часть ранее заявленных крупных проектов по строительству ЦОД пришлось остановить, а некоторые операторы были вынуждены пересмотреть свои планы по вводу новых мощностей.

Рост спроса повлёк за собой рост цен — в I квартале, по оценкам iKS-Consulting, стоимость услуг колокации у операторов коммерческих ЦОД выросла в среднем на четветрть, и этот процесс будет продолжаться. Как ожидает глава «Либерум Навитас» (занимается проектированием и строительством ЦОД), к июню услуга аренды стойко-мест может прибавить в цене ещё 30–35 %.

Источник изображения: Selectel

Спрос на услуги ЦОД со стороны отечественных компаний стал расти в связи их намерением перевести в страну инфраструктуру хранения данных из зарубежных сервисов на фоне санкций и ухода зарубежных провайдеров облачных услуг с российского рынка. Уход западных конкурентов стал поводом для российских провайдеров облачных сервисов резко поднять тарифы — до 60–80 %.

По данным iKS-Consulting, в прошлом году объём рынка услуг ЦОД в Московском регионе составил порядка 20 млрд руб. и 37 тыс. стоек, а весь рынок в стране составлят 48,5 тыс. стоек. В числе крупнейших участников рынка — «Ростелеком», DataPro, IXcellerate, Selectel и МТС.

Проблемы с поставками комплектующих западных производителей вынуждают провайдеров искать альтернативу на азиатском и отечественном рынках. Как отметил глава ЦОД и облачного провайдера Oxygen, азиатские поставщики не смогут быстро стать качественной заменой европейским, например, в части промышленных кондиционеров. К тому же, некоторые из их заводов работают по лицензиям европейских и американских компаний, в связи с чем вынуждены присоединиться к санкциям США и Запада.

С переходом на российское оборудование тоже не всё так просто. По словам главы оператора ЦОД 3data, если с ИБП ситуация неплохая, то на рынке крайне мало холодильного оборудования, и оно хуже по характеристикам зарубежных систем. К тому же срок поставки может составить 6–9 месяцев. Тем не менее, спрос на отечественное оборудование растёт. Например, «Рефкул», производитель климатического оборудования, сообщил о четырехкратном росте спроса со стороны рынка ЦОД по сравнению с прошлым годом.

«Сбер» объявил о начале реализации проекта по строительству дата-центра на территории особой экономической зоны в Балаково (Саратовская область). Вычислительный комплекс станет одним из самых крупных в стране.

Общая площадь застройки составит более 55 тысяч квадратных метров. Центр обработки данных будет состоять из 7 модулей, в каждом из которых разместятся по пятьсот 19-дюймовых 48-юнитовых стоек. Энерговооружённость составит от 12 до 15 кВт на стойку. Пиковое потребление ЦОД будет достигать 82 МВт. Годовой показатель оценки энергоэффективности (Power Utilization Efficiency) строящегося объекта планируется в диапазоне от 1,1 до 1,4.

Источник изображения: сайт города Балаково (go64.ru)

Отмечается, что при развёртывании инфраструктуры ЦОД будут задействованы энергосберегающие технологии «Сбера»: интеллектуальная система охлаждения, использующая природные ресурсы, и система управления нагрузками, предназначенная для минимизации объёмов электропотребления. «Совместное использование данных систем приведёт к сокращению потребления электроэнергии на 30% без уменьшения отказоустойчивости, что в следствии сократит углеродный след ЦОДа и позитивно отразится на экологии региона», — заверяют в компании.

Вычислительный комплекс будет сертифицирован на соответствие третьему уровню отказоустойчивости (по классификации Uptime Institute).

Помимо «Сбера», в реализации проекта примут участие правительство Саратовской области и ПАО «Российские сети». Дата-центр будет строиться в три этапа. Первый планируется завершить в первом квартале 2023 года, второй — в начале 2025-го, третий — в первой четверти 2027 года. Ожидается, что ввод объекта в эксплуатацию позволит создать до 200 новых рабочих мест.

Компания «Гипросвязь», занимающаяся проектированием и строительством объектов информационно-телекоммуникационной инфраструктуры, сообщила о реализации проекта под подключению строящегося в Удомле (Тверская область) центра обработки данных «Менделеев» к магистральной сети «Ростелекома». В общем сложности подрядчиком было развёрнуто и сдано в эксплуатацию 360 километров волоконно-оптических линий связи, обеспечивающих необходимый уровень резервирования телекоммуникационной составляющей инфраструктуры и требуемый уровень доступности информационных ресурсов, планируемых к размещению в дата-центре.

ЦОД «Менделеев» представляет собой совместный проект «Ростелекома» и «Росэнергоатома», который должен стать опорным в распределённой сети дата-центров телекоммуникационного гиганта. Вычислительный комплекс расположен рядом с Калининской атомной электростанцией и в перспективе позволит разместить в машинных залах до 10 тысяч серверных стоек. Проектная мощность объекта оценивается в 80 МВт, а его территориальная приближённость к атомной электростанции обусловлена необходимостью обеспечения дата-центра надёжным источником электроснабжения.

Изначально ввод в эксплуатацию первой очереди дата-центра был запланирован на март 2017 года, но по техническим причинам срок запуска был перенесён на четвёртый квартал 2018 года. Запуск второй очереди вычислительной площадки намечен на последующие годы.

Инвестиции в проект только одного «Росэнергоатома» составляют около 6 млрд рублей, которые ориентировочно холдинг планирует окупить за 10-15 лет. Инвестиции «Ростелекома» в строительство ЦОД оцениваются суммой до 10 млрд рублей.

Материалы по теме:

• В Иркутской области построят один из крупнейших в Азии ЦОД;
• В России появится крупный дата-центр на серверах с отечественными процессорами;
• В России будет сформирована сеть центров обработки данных для госструктур.

Источники:

• rosatom.ru, company.rt.ru, kommersant.ru

Компания «АМДтехнологии», занимающаяся поставками инженерных решений и технологий для высокотехнологичных объектов, подвела итоги года и озвучила основные тренды ЦОДостроения в 2018 году.

По мнению экспертов, ключевую роль в наступающем году сыграют стандарты построения дата-центров, регламентирующие ключевые показатели жизнеспособности IT-систем вычислительных комплексов, значительно упрощающие составление ТЗ к проекту и последующую приёмку ЦОД. В 2017-м эти стандарты широко обсуждались на государственном уровне, и будущем году с высокой вероятностью они будут приняты. Результатом этого станет повышение интереса отраслевых организаций к классу систем BIM (Building Information Modeling, информационное моделирование зданий), повышающих прозрачность проектирования и строительства зданий центров обработки данных на всех этапах вплоть до ввода в эксплуатацию. Ожидается, что решения BIM будут приняты в качестве обязательного стандарта при проектировании объектов инфраструктуры ЦОД.

Ещё одним трендом станут «зелёные» и энергоэффективные ЦОДы, которые в Европе составляют едва ли не 50% рынка. В России таких площадок пока существенно меньше, однако их количество увеличивается с каждым годом. Прогнозируется, что в 2018-м среди новых проектов рост числа «зеленых» дата-центров составит 15-20%. Драйвером роста в данном случае могут стать планируемые повышения цен на электроэнергию. Также ожидается, что в новом году будут популярны технологии умного охлаждения, например, LSV (Low Speed Ventilation). В таких разработках благодаря оптимальному распределению воздушных потоков охлаждение происходит более равномерно, а производительность системы охлаждения, фактически подстраивается под текущую загрузку IT-оборудования, что существенно снижает потребление электроэнергии.

Отдельное внимание в своих прогнозах компания «АМДтехнологии» уделяет сокращению цепочек подрядчиков при строительстве ЦОДов. У крупных заказчиков чётко сформировалась потребность в поставщике по принципу «одного окна», когда одна компания отвечает за всё — и за проектирование, и за поставку, и за пуско-наладку, и за ввод в эксплуатацию. В 2018 году заказчики будут ещё чаще нанимать инжиниринговые компании напрямую, минуя генподрядчиков и других посредников — меньше конкурсов, меньше проблем со взаимодействием, меньше ошибок и потраченных впустую денег.

Кроме того, в последние годы в отрасли отмечается недостаток качественных кадров. Если 2-3 года назад компании не закрывали всего 2% своих потребностей, то в этом году эта цифра выросла до 10%. В 2018 году ожидается значительное увеличение этого показателя — вплоть до 15%. Недостаток кадров наиболее остро чувствуется в сегменте руководителей среднего звена — руководителей проектов, ведущих архитекторов и так далее, а также в сегменте топ-менеджмента.

Материалы по теме:

• Технология LSV для охлаждения ЦОД выходит на российский рынок;
• IBS запустила облачный сервис для 3D-проектирования дата-центров;
• «АМДтехнологии» разработали мобильное приложение для инженеров ЦОД.

Источник:

• amd-tech.ru

Рассмотрение возможности строительства центра обработки данных Apple в Атенрае (Ирландия) стоимостью €850 млн вновь отложено, сообщает The Irish Times. Ожидалось, что вердикт по этому поводу будет вынесен 30 июля. Однако Судебная служба Ирландии объявила, что дело не будет рассмотрено до 12 октября 2017 г.

Киран Кэннон (Ciarán Cannon), государственный министр по вопросам диаспоры и международного развития заявил ресурсу Business Insider, что он «очень раздражён», добавив, что «большинство по-прежнему надеется на положительный результат».

Впервые Apple сообщила о планах по строительству дата-центра в Ирландии в феврале 2015 года. Тогда компания пообещала инвестировать €1,7 млрд в строительство двух ЦОД в Европе — одного возле посёлка Атенрай в графстве Голуэй (Ирландия), второго — в Виборге в Центральной Ютландии (Дания).

ЦОД в Виборге, как ожидается, запустят в конце этого года. Apple объявила о планах запустить в Дании второй центр обработки данных (ЦОД) в Обенро в 2019 году. А проект на западном побережье Ирландии пока не сдвинулся с мёртвой точки.

Совет графства Голуэй дал разрешение на планирование ЦОД Apple в сентябре 2015 года, но в местном органе по планированию An Bord Pleanála (ABP) выступили против строительства. После публичных слушаний, прошедших прошлым летом, ABP дал согласие в августе на строительство ЦОД Apple. Однако теперь против строительства выступило несколько местных жителей, которые обратились в Верховный суд с просьбой о судебном пересмотре решения по экологическим соображениям.

Apple удалось оперативно уладить эту проблему через Коммерческий суд Ирландии, подав заявку в ноябре прошлого года, но окончательное решение до сих пор не принято. Большая часть местных жителей выступает в поддержку строительства ЦОД Apple, которое принесёт инвестиции в маленький городок и обеспечит их работой.

Apple объявила в среду о планах построить свой первый центр обработки данных в Китае в партнёрстве с местной интернет-компанией, чтобы вести деятельность в соответствии с более жёстким законам о кибербезопасности, введённым в стране в прошлом месяце.

Reuters/Dado Ruvic

ЦОД компании Apple будет построен в южной провинции Гуйчжоу совместно с китайской компанией Guizhou-Cloud Big Data Industry Co Ltd (GCBD), оказывающей услуги по управлению данными.

Представитель Apple в Шанхае сообщил агентству Reuters, что строительство ЦОД является частью запланированных компанией инвестиций в провинцию в размере 1 млрд долларов США. «Добавление этого центра обработки данных позволит нам повысить скорость и надёжность наших продуктов и услуг, а также выполнить новые правила, — говорится в заявлении Apple, направленном агентству Reuters. — Эти правила требуют, чтобы облачными сервисами в стране управляли китайские компании, поэтому мы будем сотрудничать с GCBD, чтобы предлагать iCloud».

Apple является первой иностранной фирмой, объявившей о внесении изменений в хранении данных для Китая после введения здесь в действие нового закона о кибербезопасности с 1 июня, в соответствии с которым зарубежные фирмы обязаны хранить данные в стране.

Принятие новых законов связано с тем, что китайские облачные компании быстро расширяют свои операции на внешних рынках. У Alibaba Group Holding 17 центров обработки данных в Китае, США, Европе, Австралии, Юго-Восточной Азии и на Ближнем Востоке.

У других зарубежных фирм, которые занимаются облачным бизнесом, включая Amazon.com и Microsoft, уже есть центры обработки данных в Китае.