Облачная платформа Yandex Cloud сообщила о планах по строительству нового центра обработки данных, который будет располагаться в Калуге, на территории индустриального парка «Грабцево». По общей полезной нагрузке на серверные стойки это будет самый большой ЦОД «Яндекса» и один из крупнейших в России. Открытие первой очереди запланировано на второе полугодие 2023 года.

В калужском дата-центре Yandex Cloud разместится более 3800 серверных стоек c нагрузкой по 15 кВт на каждую. Площадь вычислительного комплекса составит 130 тысяч кв. м. Общая проектная мощность площадки — 63 МВт, что в 1,5 раза превосходит мощности самого высоконагруженного ЦОД «Яндекса» из существующих сейчас. Благодаря использованию современных технологий среднегодовой коэффициент эффективности использования энергии (Power Usage Effectiveness, PUE) составит 1.07-1.09.

Дата-центр «Яндекса» во Владимировской области (источник фото: cloud.yandex.ru)

По словам компании, высокой энергоэффективности удастся добиться в том числе за счёт технологии фрикулинга: и зимой, и летом охлаждать серверные стойки будет обычный уличный воздух. За счёт этого дата-центру требуется в два раза меньше электроэнергии в год для поддержки того же количества серверов. Бесперебойность работы ЦОД будет обеспечена за счёт разработки собственного оборудования для электроснабжения. Это подход, избранный «Яндексом» — подключение по линиям высокого напряжения (110 кВ и выше) непосредственно к сетям национальных операторов со строительством собственных кабельных линий и подстанций.

Калужский дата-центр будет обеспечивать работу и внутренней инфраструктуры сервисов «Яндекса», и облачной платформы. В настоящий момент Yandex Cloud размещается в трёх дата-центрах, расположенных во Владимирской, Рязанской и Московской областях. Каждая зона доступности изолирована от аппаратных и программных сбоев в других зонах. «Разворачивая приложения сразу в нескольких зонах, клиенты могут обеспечить отказоустойчивость своих приложений и значительно снизить вероятность потери данных», — говорится в сообщении компании.

На платформе видеовстреч «Телемост», которая входит в набор сервисов «Яндекс 360 для бизнеса», появилась возможность вести трансляции. Новая функция позволяет проводить лекции, вебинары, презентации для клиентов и другие мероприятия. В эфир могут одновременно выйти до 40 человек, а максимальное количество зрителей достигает 10 тыс.

Остальные пользователи могут смотреть, слушать и задавать вопросы в чате. Для подключения к трансляции необходима ссылка, которая может быть распространена любым удобным способом. Трансляции могут планироваться заранее. В этом случае они попадут в «Календарь» всем приглашённым. Организаторы также могут записать и сохранить встречу — например, чтобы отправить её участникам. При этом сохраняется и переписка в чате.

Источник изображения: «Яндекс»

Трансляции доступны пользователям «Яндекс 360 для бизнеса», которые подписаны по тарифным планам «Оптимальный» и «Расширенный». Встречи можно создавать и смотреть в вебе и мобильном браузере, а также в приложении для компьютера. «Яндекс 360 для бизнеса» — это виртуальный офис, в составк которого входят корпоративная почта, облачное хранилище, мессенджер, календарь и редактор документов.

«Яндекс» опубликовал исходный код и документацию фреймворка userver. Это первый открытый набор инструментов, который позволяет создавать высоконагруженные приложения на языке С++, заявляют в компании. userver подходит для разработки приложений с микросервисной архитектурой. Микросервисы автономны, поэтому решения на подобной архитектуре легко обновлять и добавлять в них новые функции. Фреймворк выпущен под открытой лицензией Apache 2.0.

По словам Антона Полухина, одного из авторов фреймворка и руководителя группы бэкенд-разработки решений для продуктовых команд RideTech и eCom, внутри userver есть все необходимое для разработки, диагностики, мониторинга, отладки и экспериментов. Например, userver подсказывает как исправить ошибки еще на этапе компиляции, умеет работать с разными базами данных, менять параметры на лету.

Источник изображения: Яндекс

«Яндекс» использует userver в «Go», «Лавке», «Доставке», «Маркете», финтех-проектах и других сервисах. Изначально фреймворк разрабатывался в «Такси». С его помощью команда перешла от монолитногй архитектуры к микросервисной, начав использовать последнюю в разных приложениях. Ранее «Яндекс» выложил в open source распределенную СУБД YDB, а также библиотеку машинного обучения CatBoost, которую компания применяет в «Поиске».

Дата-центр Яндекса в Мянтсяля (Финляндия) уже неделю работает на дизельном топливе. Согласно данным местных СМИ, ЦОД мощностью 40 МВт был отключён от сети 25 апреля поставщиком электроэнергии и оператором местной энергосети Nivos в связи с истечением срока действия контракта с Яндексом. Отключение, похоже, не связано напрямую с правительственными санкциями, однако в текущей ситуации найти нового поставщика затруднительно.

По словам Nivos, сейчас ЦОД работает на пониженной мощности от дизель-генераторов и почти не поставляет тепло в местную систему централизованного теплоснабжения, которая сейчас работает за счёт дистиллятного топлива и природного газа (предположительно из России). Топливо поступает от Neste, финского поставщика ГСМ, который производит экологичный мазут из переработанных жиров, но местная телерадиокомпания YLE отмечает, что 15% топлива Neste фактически получает из России.

Источник изображения: yandex.ru

В сообщении Яндекса указано, что, несмотря на то, что она не находится под санкциями, её ЦОД действительно отключили от энергосети. «ЦОД временно работает на собственных дизельных генераторах для поддержания деятельности, однако система повторного использования тепла заработает на полную мощность только после того, как мы вернёмся к обеспечению энергией из электросети», — подчеркнула компания. В прошлом году Яндекс заключила пятилетнее соглашение с компанией Ilmatar Energy, получающей электроэнергию от парка ветряных электростанций, которая должна была поставляться через сеть Nivos.

Таким образом Яндекс планировал отойти от использования ископаемого топлива для питания ЦОД к более экологичным источникам энергии. Однако в начале 2022 года (точная дата не называется) Ilmatar в одностороннем порядке разорвала контракт на формальных основаниях, несмотря на усилия Яндекса сохранить сделку, в том числе с помощью предложения более выгодных условий. «Мы расторгли договор на поставку электроэнергии в дата-центр Яндекса в Мянтсяля, Финляндия. Мы больше не комментируем договорные вопросы между нами и Яндексом», — сообщила Ilmatar ресурс DCD.

Nivos была вынуждена отключить ЦОД в соответствии с законом, пояснил глава компании. «Если они найдут нового продавца электроэнергии, подключение к сети будет восстановлено», — добавил он. Яндекс заявил, что ведёт переговоры о новом контракте с поставщиком и отметила, что текущая ситуация «является серьёзным препятствием для “зеленых” инициатив в стране, поскольку она ведёт к увеличению потребления ископаемого топлива, а также наносит серьёзный удар по стремлению Финляндии стать глобальным хабом данных».

Команда разработчиков «Яндекса» сообщила о переводе в разряд Open Source системы управления базами данных Yandex Database (YDB), которая широко задействована в проектах компании.

YDB представляет собой распределённую отказоустойчивую Distributed SQL СУБД. Платформа обеспечивает высокую доступность, горизонтальную масштабируемость, а также строгую консистентность и поддержку ACID-транзакций. Для запросов используется диалект SQL (YQL). Надёжность системы проверена в IT-инфраструктуре «Яндекса», где она используется больше 5 лет. На базе YDB функционируют «Алиса», «Такси», «Маркет», «Метрика» и многие другие сервисы компании — почти 500 проектов.

«Мы уверены, что бурное развитие технологий, которое мы наблюдаем в последние десятилетия, было бы невозможно без применения открытого исходного кода. Доступность технологий способствует их распространению и стимулирует к ним интерес. Например, сейчас уже нельзя представить себе интернет без таких баз данных, как MySQL, PostgreSQL или ClickHouse. Публикуя код YDB, мы продолжаем следовать принципам открытости и делимся со всеми наработками, на которые потратили почти десять лет. Теперь технология, которая позволяет Яндексу быстро масштабироваться и двигаться вперёд, будет доступна всем под свободной лицензией Apache 2.0.», — говорится в заявлении компании.

Исходный код, документация, SDK и все инструменты для работы с СУБД опубликованы на GitHub под лицензией Apache 2.0. Развернуть базу данных можно как на собственных, так и на сторонних серверах — в том числе в Yandex Cloud или других облачных сервисах.

«Яндекс» систематически выкладывает в Open Source свои ключевые технологии. В открытом доступе находится библиотека машинного обучения CatBoost, которая используется в поиске и других сервисах разработчика. В 2016 году компания опубликовала исходный код ClickHouse — аналитической системы управления базами данных.

Команда «Яндекса» объявила о пересмотре тарифной сетки на услуги облачной платформы Yandex.Cloud. Стоимость пользования сервисами компании вырастет от 5% до 60%. Изменения затронут Compute Cloud, Yandex Database, Yandex Monitoring, Virtual Private Cloud и прочие сервисы.

«К сожалению, нестабильная ситуация в мире и экономике оказывает беспрецедентное влияние на бизнес всех технологических компаний и вынуждает нас пересмотреть стоимость услуг в рублях с 13 апреля 2022 года. Основные причины этих изменений — повышение цен на закупку сетевого и серверного оборудования из-за роста курса валют и сложности в логистике поставок», — говорится в заявлении «Яндекса».

Отмечается, что стоимость услуг в тенге для клиентов в Казахстане также повысится. Цены в долларах остаются без изменений. Текущие изменения не затронут сервисы Yandex Interconnect, DDoS Protection, Data Streams, Tracker и тарифные планы поддержки. Основная инфраструктура Yandex.Cloud размещается в трёх дата-центрах «Яндекса» на территории России. Развёртывание нового облачного региона в Германии временно приостановлено.

Selectel, ещё один российский провайдер облачной инфраструктуры, а также услуг дата-центров, тоже объявил о повышении цен. «Нам пришлось пересмотреть ценовую политику компании, ориентируясь на текущую ситуацию на рынке и операционные расходы», — сообщили в компании. В компании пояснили, что у клиентов, оплативших услугу полностью, будет действовать прежний ценник до окончания оплаченного периода. Но после этого цены на услуги для них изменятся на актуальные.

Операционные расходы дата-центра включают затраты на обновление, ремонт и обслуживание оборудования. Как указали в Selectel, это необходимая мера, которая позволит обеспечить дальнейшее устойчивое развитие компании. Для удовлетворения возросшего спроса потребуются инвестиции в оборудование, которое компания будет покупать уже по новым ценам.

В России неподалёку от Рязани, на территории индустриального парка «Рязанский», началось строительство нового завода по производству серверов. Проект реализуется совместным предприятием, созданным «Яндексом», группой компаний «ЛАНИТ», разработчиком компьютерной техники Gigabyte и банком ВТБ.

На заводе будет выпускаться оборудование под торговой маркой Openyard. В частности, планируется организовать производство серверов, систем хранения данных, шлюзов и компонентов умных устройств.

Участники проекта на начальном этапе вложат в новую производственную площадку более миллиарда рублей. Пуско-наладочные работы намечены на третий квартал следующего года: их выполнят специалисты Gigabyte. Первый сервер со сборочных линий должен сойти до конца 2022-го.

Фото: Яндекс

«Первая очередь будет включать производственные линии, лаборатории и тестовые зоны. Здесь будут выполняться все операции, начиная от поверхностного монтажа компонентов и заканчивая испытаниями готовой продукции», — говорится в сообщении.

Производимые в Рязани серверы будут спроектированы на основе разработок и технологий «Яндекса». Отмечается, что выбор места для строительства завода продиктован хорошей транспортной доступностью, наличием необходимых коммуникаций и близостью учебных заведений, которые готовят профильных специалистов.

Российский IT-гигант «Яндекс» объявил о формировании компании ClickHouse, Inc, которая будет разрабатывать коммерческие продукты на основе открытой СУБД ClickHouse. Проект реализуется в партнёрстве с венчурными фондами Benchmark Capital и Index Ventures, у которых есть опыт развития успешного бизнеса на базе облачных технологий и продуктов с открытым исходным кодом.

ClickHouse — это распределённая система управления базами данных, которая позволяет обрабатывать огромные массивы информации в реальном времени. Эта система легко масштабируется, обладает высокой отказоустойчивостью и имеет подробную документацию. Утверждается, что производительность ClickHouse в разы превышает показатели аналогичных столбцовых СУБД.

Здесь и ниже изображения "Яндекса"

ClickHouse была разработана в «Яндексе» для обработки логов «Яндекс.Метрики», а первый прототип системы появился в 2009 году. В июне 2016-го платформа была выложена в открытый доступ, что позволило ей быстро набрать популярность. С тех пор вклад в развитие ClickHouse внесли более 770 разработчиков из многих компаний.

В настоящее время СУБД ClickHouse применяется такими гигантами, как Uber, Tesla, Spotify, eBay, ByteDance, Alibaba, Tencent.

«Создание компании для нас — это возможность начать коммерческую деятельность вокруг нашего открытого кода, оказывая дополнительные услуги. Мы собрали отличную команду, которая способна реализовать весь технологический и коммерческий потенциал ClickHouse. Этим мы и займёмся», — заявил руководитель разработки ClickHouse Алексей Миловидов.

Платформа Yandex.Cloud рассказала о развитии облачного бизнеса в первой половине нынешнего года. Сообщается, что в 2021-м компании стали ещё активнее переносить в облако эксплуатацию клиентских и внутренних сервисов и продолжили увеличивать объёмы облачной разработки. На этом фоне финансовые показатели Yandex.Cloud резко выросли.

Выручка с января по июнь включительно достигла рекордных 1,1 млрд рублей. Это на 240 % (в 3,4 раза) больше по сравнению с аналогичным периодом прошлого года. Показанный результат уже превышает общую выручку Yandex.Cloud за весь 2020 год.

Здесь и ниже изображения "Яндекса"

Общее число коммерческих клиентов платформы достигло 12 400. Рост по сравнению с прошлым годом составил 60 %. При этом средний доход в расчёте на заказчика увеличился на 90 %.

Количество крупных клиентов выросло до 380 против 270 в конце 2020 года. Объём потребления ими облачных сервисов при этом поднялся на 250 %. Вклад этой группы клиентов в общую выручку Yandex.Cloud составил 49 %. Отмечается, что выручка среди таких клиентов в нынешнем году растет почти на 30 % быстрее, чем в сегменте среднего и малого бизнеса.

Количество СМБ-клиентов с начала года выросло до 12 тыс., и их вклад в общую выручку Yandex.Cloud в первом полугодии составляет 51 %.

Наибольший вклад в выручку Yandex.Cloud в первом полугодии внесла группа сервисов «Инфраструктура и сеть» — 58 %. Ещё 15 % пришлось на группу сервисов «Платформа данных». Вклад группы сервисов «Машинное обучение» составил 11 %, группы сервисов «Контейнерная разработка» — 7 %.

Проникновение цифровых технологий в различные сферы жизни служит катализатором строительства новых дата-центров, и это всё чаще заставляет инженеров, компании и страны задумываться об экологических аспектах их работы. В фокусе внимания находятся энергосбережение и снижение углеродного следа.

Одним из основных направлений перехода к экологически чистым стандартам работы ЦОД является использование возобновляемых источников энергии. К примеру, Google совместно с Fevo разрабатывает проект по обеспечению своей инфраструктуры энергией геотермальных электростанций. Facebook* вкладывается в масштабную программу Green Invest для питания своих ЦОД от солнечной электростанции. Не остаётся в стороне и поисковый гигант Яндекс, который вчера объявил о переводе одного из пяти своих дата-центров на возобновляемую энергию.

ilmatar.fi

По планам компании, её ЦОД с энергопотреблением порядка 68 ГВт·ч, расположенный в г. Мянтсяля (Финляндия), начнёт закупать энергию ветроэлектростанций с 2022 года, чтобы полностью покрыть свои потребности. При этом затраты останутся сопоставимыми с затратами на энергию традиционных электростанций. Поставкой займётся финская компания Ilmatar Energy, имеющая развитую сеть ветряков в регионе. Соглашение сроком на 5 лет уже подписано. В дальнейшем возможен переход и остальных ЦОД компании на безуглеродные источники.

Ещё одной из «зелёных» стратегий является повторное использование «мусорного тепла» ЦОД. Его можно использовать для отопления жилых домов и других объектов, хотя это может быть связано с дополнительными затратами на донагрев воды, как в случае того же финского ЦОД. Но есть и более экзотичные примеры — норвежский оператор дата-центров уже строит планы по обогреву омаровых и форелевых ферм, а в Корее есть проект по обогреву биологических реакторов на водоочистных станциях.

Наконец, можно повышать энергоэффективность дата-центров для снижения энергопотребления. Впрочем, у финского ЦОД Яндекса и так отличный показатель PUE, равный 1,1, что сравнимо, например, с показателями Google. И это значение значительно лучше средних показателей PUE по всему миру (1,59), Европе (1,46) или СНГ (1,6).

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».