Компания Northern Data, деятельность которой связана с майнингом криптовалюты, предоставлением услуг высокопроизводительных вычислений (HPC) и ИИ, обдумывает возможность проведения IPO подразделений Taiga и Ardent, предоставляющих услуги облачных вычислений и ЦОД соответственно, пишет Bloomberg.

По данным источников Bloomberg, IPO может состояться на площадке Nasdaq. В настоящее время компания ведёт переговоры с банками для проведения публичного размещения акций. По оценкам банков, капитализация этих подразделений может составить $10–$16 млрд. Как и многие компании, занимающиеся майнингом криптовалют, Northern Data рассматривает HPC и ИИ как прибыльное дополнение к своей основной деятельности.

В прошлом году Northern Data разделила свой бизнес на три подразделения — Arden, Taiga и Peak Mining, сосредоточив в последнем все операции по майнингу криптовалют. Согласно информации на сайте компании, у неё имеется 11 дата-центров. Peak Mining, американское подразделение компании по майнингу биткоинов, строит и разрабатывает дата-центры суммарной ёмкостью почти 700 МВт, что в случае реализации всех планов сделает его одним из крупнейших майнеров криптовалюты в США.

Taiga уже владеет 24,5 тыс. ускорителей NVIDIA, включая H100, A100 и A6000. Они в основном находятся в трёх ЦОД в Швеции и Норвегии и на 100 % запитаны от «зелёных» источников энергии. В понедельник компания объявила, что первой в Европе приобрела 2 тыс. ускорителей NVIDIA H200, дополненных DPU BlueField-3 и ConnectX-7. Они будут размещены в одном из европейских ЦОД с PUE менее 1,2. Запуск первого кластера намечен на IV квартал, а его производительность составит порядка 32 Пфлопс (точность вычислений не указана). Пиковая теоретическая FP64-производительность такого количества ускорителей H200 составляет 68 Пфлопс.

Источник изображения: Northern Data

В свою очередь Ardent занимается дизайном и строительством высокоплотных ЦОД, ориентированных на HPC- и ИИ-нагрузки. Компания использует СЖО, а заявленный уровень PUE не превышает 1,15. При этом Ardent обещает 100 % доступность своих площадок.

Как сообщается, Northern Data в ноябре получила кредитное финансирование на сумму €575 млн от компании Tether Group, занимающейся стейблкоинами, а в январе завершила приобретение у Tether компании Damoon за €400 млн, рассчитавшись с помощью облигаций, конвертируемых в акции, выпущенные Northern Data AG. В результате Tether стала основным инвестором Northern Data. Полученные средства Northern Data использует для закупок самых востребованных чипов NVIDIA. Благодаря этому к концу лета компанией будет развёрнуто около 20 тыс. NVIDIA H100.

Alibaba Cloud раскрыла ряд сведений технического характера, касающихся сетевой инфраструктуры и устройства своих дата-центров, занятых обработкой ИИ-нагрузок, в частности, обслуживанием LLM. Один из ведущих инженеров компании, Эньнань Чжай (Ennan Zhai), опубликовал доклад «Alibaba HPN: A Data Center Network for Large Language Model Training», который будет представлен на конференции SIGCOMM в августе этого года.

В качестве основы для сетевой фабрики Alibaba Cloud выбрала Ethernet, а не, например, InfiniBand. Новая платформа используется при обучении масштабных LLM уже в течение восьми месяцев. Выбор обусловлен открытостью и универсальностью стека технологий Ethernet, что позволяет не привязываться к конкретному вендору. Кроме того, меньше шансы пострадать от очередных санкций США.

Отмечается, что традиционный облачный трафик состоит из множества относительно небыстрых потоков (к примеру, менее 10 Гбит/с), тогда как трафик при обучении LLM включает относительно немного потоков, имеющих периодический характер со всплесками скорости до очень высоких значений (400 Гбит/с). При такой картине требуются новые подходы к управлению трафиком, поскольку традиционные алгоритмы балансировки склонны к перегрузке отдельных участков сети.

Источник здесь и далее: Alibaba Cloud

Разработанная Alibaba Cloud альтернатива носит название High Performance Network (HPN). Она учитывает многие аспекты работы именно с LLM. Например, при обучении важна синхронизация работы многих ускорителей, что делает сетевую инфраструктуру уязвимой даже к единичным точкам отказа, особенно на уровне внутристоечных коммутаторов. Alibaba Cloud использует для решения этой проблемы парные коммутаторы, но не в стековой конфигурации, рекомендуемой производителями.

Характер трафика при обучении LLM

Каждый хост содержит восемь ИИ-ускорителей и девять сетевых адаптеров. Каждый из NIC имеет по паре портов 200GbE. Девятый адаптер нужен для служебной сети. Между собой внутри хоста ускорители общаются посредством NVLink на скорости 400–900 Гбайт/с, а для общения с внешним миром каждому из них полагается свой 400GbE-канал с поддержкой RDMA. При этом порты сетевых адаптеров подключены к разным коммутаторам из «стоечной пары», что серьёзно уменьшает вероятность отказа.

В докладе говорится, что Alibaba Cloud использует современные одночиповые коммутаторы с пропускной способностью 51,2 Тбит/с. Этим условиям отвечают либо устройства на базе Broadcom Tomahawk 5 (март 2023 года), либо Cisco Silicon One G200 (июнь того же года). Судя по использованию выражения «начало 2023 года», речь идёт именно об ASIC Broadcom.

Своё предпочтение именно одночиповых коммутаторов компания объясняет просто: хотя многочиповые решения с большей пропускной способностью существуют, в долгосрочной перспективе они менее надёжны и стабильны в работе. Статистика показывает, что аппаратные проблемы у подобных коммутаторов возникают в 3,77 раза чаще, нежели у одночиповых.

Одночиповые решения класса 51,2 Тбит/с выделяют много тепла, но ни один поставщик оборудования не смог предложить Alibaba Cloud готовые решения, способные удерживать температуру ASIC в пределах 105 °C. Выше этого порога срабатывает автоматическая защита. Поэтому для охлаждения коммутаторов Alibaba Cloud создала собственное решение на базе испарительных камер.

Сетевая фабрика позволяет создавать кластеры, каждый из которых содержит 15360 ускорителей и располагается в отдельном здании ЦОД. Такое высокоплотное размещение позволяет использовать оптические кабели длиной менее 100 м и более дешёвые многомодовые трансиверы, которые дешевле одномодовых примерно на 70 %. Ёмкость такого дата-центра составляет около 18 МВт.

Но есть у HPN и недостаток: использование топологии с двумя внутристоечными коммутаторами и другие особенности архитектуры усложняют кабельную подсистему, поэтому инженеры поначалу столкнулись с ростом ошибок при подключении сетевых интерфейсов. В настоящее время активно используются тесты, позволяющие проверить каждое подключение на соответствие идентификаторов портов и коммутаторов рабочим схемам.

Отмечается, что параметры Ethernet-коммутаторов удваиваются каждые два года, поэтому компания уже разрабатывает сетевую архитектуру следующего поколения, рассчитанную на применение будущих ASIC 102,4 Тбит/с. По словам Alibaba Cloud, обучение LLM с сотнями миллиардов параметров потребует огромного распределённого кластера, количество ускорителей в котором исчисляется миллионами. И ему требуется соответствующая сетевая инфраструктура.

Стартап Lambda Labs, специализирующийся на предоставлении в аренду облачных вычислительных мощностей с использованием ИИ-ускорителей NVIDIA, планирует провести третий раунд финансирования с целью привлечения $800 млн, сообщила газета Financial Times. По словам источников газеты, условия проведения раунда финансирования станут известны в середине июля. Его подготовкой, включая координацию сбора средств, занимается JPMorgan.

Lambda Labs стремится получить максимум выгоды из ажиотажа вокруг ИИ-технологий на фоне нехватки ускорителей. Привлечение новых инвестиций сделает Lambda Labs одним из наиболее финансируемых стартапов Кремниевой долины за последние годы. Привлечённые в рамках нового раунда инвестиции предполагается направить на приобретение ИИ-ускорителей NVIDIA и соответствующего ПО для облачных сетей, а также использовать для найма дополнительного персонала.

Источник изображения: Lambda Labs

До этого компания из Сан-Хосе провела в феврале раунд финансирования Series C на сумму в $320 млн, в результате которого оценка её рыночной стоимости выросла до $1,5 млрд. Затем в апреле ей удалось привлечь инвестиции в размере $500 млн в рамках программы под руководством Macquarie Group при участии Фонда промышленного развития (IDF).

Несмотря на значительное финансирование Lambda Labs, ей пока далеко до её конкурента — компании CoreWeave, которая в мае 2024 года привлекла $7,5 млрд в ходе раунда под руководством Blackstone и при стратегическом участии Magnetar и Coatue, и в том же месяце закрыла раунд финансирования серии C на сумму $1,1 млрд. Годом ранее CoreWeave получила $2,3 млрд долгового финансирования под залог ускорителей NVIDIA. На данный момент её рыночная стоимость оценивается в $19 млрд.

Google Cloud объединит усилия с Gulf Edge Company Limited для постройки суверенного облака в Таиланде. По данным Datacenter Dynamics, это даст возможность клиентам соблюдать требования местных властей к обеспечению безопасности и конфиденциальности данных. Дополнительно они получат доступ к ИИ-функциям и аналитическим возможностям облака Google.

Gulf Edge является подразделением Gulf Energy Development Public Company Limited и будет оператором облака Google Distributed Cloud (GDC) в статусе Managed GDC Provider. Облако можно развернуть либо на собственном on-premise оборудовании клиентов, либо воспользоваться уже развёрнутой платформой на базе дата-центра Gulf.

При этом сама Gulf намерена вместе с партнёрами инвестировать ฿10 млрд ($271 млн) в развитие кампуса ЦОД в пригороде Бангкока, передаёт Bloomberg. Это позволит удвоить ёмкость, увеличив её с 25 до 50 МВт. Работы планируется завершить к марту следующего года.

Как сообщается, успешное освоение GDC в Таиланде является «стратегическим императивом». Внедрение сервисов суверенного ИИ-облака среди регулируемых государством отраслей не только будет способствовать цифровой конкурентоспособности страны, но и обеспечит новые источники доходов.

Источник изображения: Mathew Schwartz/unsplash.com

В конце 2023 года Google заключила комплексное соглашение с правительством Таиланда, посвящённое инвестициям в цифровую инфраструктуру страны, а также инициативам по ускорению внедрения ИИ в госсекторе. Соглашение включает планы открытия в стране дата-центра Google, хотя ещё в 2022 году компания сообщала о намерении построить в Бангкоке облачный регион.

Анонсированное в 2021 году решение Google Distributed Cloud позволяет использовать собственное оборудование с применением программных решений Google, обеспечивая высокий уровень безопасности и надёжности. GDC не требует подключения к публичному облаку Google Cloud.

В утекшем внутреннем докладе Google упоминается, что компания намерена занять рынок суверенных облаков в Европе и Азии объёмом $100 млрд. Google уже сотрудничает в аналогичных проектах с T-Systems в Германии, Thales во Франции, а также Proximus и LuxConnect в Бельгии и Люксембурге. Впрочем, похожие облачные предложения уже анонсировали AWS, Microsoft и Oracle.

На этой неделе китайский производитель процессоров Loongson не только представил новые 64-ядерные серверные процессоры 3C6000 на базе собственной архитектуры LoongArch, но и выложил свежий список ПО, портированного на данную архитектуру. В нём оказалась и продукция Lenovo, обратил внимание ресурс The Register.

Всего новый список включает 53 разработчика ПО и 105 продуктов. В случае Lenovo упомянуты три серверных решения семейства Wentian: облачная платформа WxCloud 3.0, HCI-платформа WxStack 8.0 и платформа виртуализации WxSphere 8.0. В случае последней говорится, что это решение подходит для импортозамещения VMware.

Естественно, все эти решения ориентированы на китайский рынок, где под давлением американских санкций происходит переход на отечественные программные и аппаратные платформы, местами в принудительном порядке. Для западных рынков Lenovo всё так же предлагает решения VMware.

Источник изображения: Lenovo

Что касается Loongson, то её решения хотя и отстают по возможностям и производительности от продукции AMD и Intel, находят всё большее применение в Китае, который всеми силами стремиться добиться независимости от западных технологий. Например, ранее компания сообщила, что её процессоры появились в СХД местного вендора Chuji, которые предлагает HDD- и SSD-хранилища в различных форм-факторах.

Компания Cloud.ru (ранее — SberCloud) сообщила о разработке Cloud.ru Evolution Stack, модульной облачной платформы, с помощью которой компании смогут создавать частное, гибридное или распределённое облако. Надёжность работы ПО при промышленной эксплуатации подтверждена тестированием на реальных нагрузках корпоративных клиентов в публичном облаке Cloud.ru Evolution, построенном на том же технологическом стеке с единой кодовой базой, говорит компания.

Платформа предназначена для клиентов, которым необходимо масштабировать инфраструктуру в режиме реального времени. С её помощью они смогут использовать гибридные сценарии, прибегая как к собственным вычислительным ресурсам, так и возможностям публичного облака Cloud.ru. Решение позволяет отслеживать потребление и оптимально распределять пиковые нагрузки между облаками, сокращая расходы на ИТ-инфраструктуру. Также в Cloud.ru Evolution Stack предусмотрена возможность управления сторонней виртуализацией, что значительно упрощает процесс миграции виртуальной инфраструктуры на импортозамещённое решение.

Источник изображения: Cloud.ru

С помощью новой платформы компании с широкой филиальной сетью смогут обрабатывать и хранить данные в географически распределённых облаках-сателлитах, реализуя концепцию пограничных вычислений. В этом случае вариант реализации частного облака может быть предоставлен клиентам в виде программно-аппаратных комплексов на базе серверного оборудования отечественных производителей.

Перед внедрением платформы в контур компании эксперты Cloud.ru проведут необходимую подготовительную работу, выполнят установку и пусконаладочные работы, а также проведут инструктаж персонала заказчика. В среднем реализация такого проекта в зависимости от сложности займёт до четырёх месяцев. А вот о точных сроках доступности Cloud.ru Evolution Stack компания пока не говорит.

Американские власти расследуют деятельность китайских телеком-операторов China Mobile, China Telecom и China Unicom. Datacenter Dynamics сообщает, что меры будут приниматься на фоне опасений, что принадлежащие государству компании могут обеспечивать китайское правительство сведениями об американских данных с помощью своих облаков и каналов связи.

По данным СМИ, власти уже завершили анализ рисков в отношении China Mobile и China Telecom, но пока не слишком преуспели в расследовании работы China Unicom. Все три компании в той или иной степени ведут дела в США, хотя в очень ограниченных масштабах — после решения ограничить их деятельность из-за возможных угроз национальной безопасности.

В 2022 году Федеральная комиссия связи (FCC) США отозвала разрешение подразделения China Unicom Americas предоставлять телекоммуникационные сервисы в США. Аналогичный запрет в отношении China Telecom ввели в 2021 году. Наконец, поданную China Mobile заявку на предоставление на территории США услуг телефонной связи отклонили ещё в 2019 году.

Источник изображения: Mudit Agarwal/unsplash.com

Ранее в 2024 году FCC предписала американским подразделениям China Telecom, China Unicom и China Mobile прекратить в стране операции связанные с фиксированным и мобильным доступом в интернет. Ранее регулятор объявил, что китайские телеком-компании эксплуатируются китайским правительством, находятся под его влиянием и контролируются им. Особо отмечены риски, связанные с доступом к точкам присутствия (POP) в США, обычно расположенным в ЦОД.

СМИ сообщают, что свидетельств предоставления значимых данных китайским властям найдено не было, как и следов нанесения какого-либо ущерба США. Несмотря на запреты, компании по-прежнему могли предоставлять в стране облачные сервисы. По данным источников СМИ, регуляторам ещё предстоит устранить эту потенциальную угрозу. В частности, возможен запрет на работу в ЦОД и маршрутизацию трафика. В результате даже оставшийся в стране бизнес китайской «большой тройки» будет парализован.

Буквально на днях сообщалось, что китайские компании ищут всё новые пути обхода американских санкций, например, используя запрещённые к экспорту чипы для вычислений на территории самих США. При этом США постоянно усиливают санкции, начиная с 2019 года. Был введён запрет на закупку телеком-оборудования ряда вендоров, использование Google Mobile Services, продажу технологий и чипов и т.д.

Облачная платформа VK Cloud сообщила об интеграции среды Dev Platform с инструментами безопасной разработки Positive Technologies и Swordfish Security.

Dev Platform предоставляет набор предустановленных, прединтегрированных и преднастроенных инструментов, с помощью которых можно создать единую среду разработки, сделать прозрачным и эффективным весь жизненный цикл продукта. Архитектуру решения можно гибко масштабировать, добавляя к базовым компонентам платформы внешние инструменты через систему плагинов. Бизнес может развернуть Dev Platform в своей IT-инфраструктуре, в том числе в рамках Private Cloud, или в публичном облаке VK Cloud.

Dev Platform совместима с инструментами для поиска уязвимостей в приложениях PT BlackBox и PT Application Inspector, а также с продуктом для защиты контейнерных сред PT Container Security, который выявляет и предотвращает атаки на системы компании, запущенные в контейнерах.

Архитектура Dev Platform (источник изображения: cloud.vk.com/dev-platform)

Кроме того, платформа интегрирована с решениями Swordfish Security — AppSec.Hub класса ASPM (Application Security Posture Management) и AppSec.Track класса OSA (Open Source Analysis) и SCA (Software Composition Analysis). AppSec.Hub — инструмент оркестрации сканеров уязвимостей, фильтрации ложных срабатываний на базе ИИ-технологий и отображения метрик качества построения процесса безопасной разработки. Инструмент AppSec.Track, позволяет не допустить попадания небезопасных внешних компонентов в контур разработки на самом начальном этапе и проверяет наличие ИБ-проблем в них на этапе сборки ПО.

В эпоху ИИ данные рассматриваются как «валюта». Поэтому спрос на инструменты для интеграции, хранения и обработки данных становится растущим приоритетом среди предприятий, пишет IEEE ComSoc. Ожидается, что к 2025 году объём генерируемых в мире данных достигнет 180 Збайт по сравнению со 120 Збайт в 2023 году. И всё это потребует немало оборудования.

Согласно оценкам BofA Global Research, средний размер наборов данных, необходимых для обучения моделей ИИ, увеличился с 5,9 млн записей в 2010 году до 750 млрд в 2023 году. В опросе BofA 150 IT-профессионалов в качестве ключевых вариантов использования ИИ были указаны потоковая обработка данных (44 %) и машинное обучение (37 %). Кроме того, ИИ подталкивает к переносу данных в облака. По оценкам Gartner, к 2027 году 74 % платформ управления данными будет развёрнуто в облаках по сравнению с 60 % в 2023 году.

Затраты на инфраструктурное ПО для работы с данными представляют собой главную статью расходов ИТ-отделов. По оценкам участников опроса, на такое ПО приходится 35 % от общих расходов на ИТ. При этом ожидается, что бюджеты вырастут на 9 % в течение следующих 12 месяцев. Публичные облака вошли в тройку лидеров среди поставщиков таких решений. Они же получают и немало выручки. Согласно подсчётам BofA, оборот индустрии инфраструктурного ПО (хранилища и озёра, работа с неструктурированными данными и т. д.) в настоящее время составляет около $96 млрд, и он может вырасти до $153 млрд в 2028 году.

Источник изображения: BofA Global Research

Что касается «железа», то BofA прогнозирует стремительное увеличение капитальных затрат у Amazon, Alphabet/Google и Meta/Facebook — в 2024 году они вырастут на 43 % в годовом исчислении до $145 млрд. Большая часть увеличения придётся на серверы и оборудование:

• Капитальные затраты Alphabet на ИТ-активы увеличатся на $12 млрд в годовом исчислении до $28 млрд.
• Мета✴, после резкого роста в 2023 году останавливаться не будет и снова увеличит расходы на серверы, сетевое и прочее оборудование на $7 млрд в годовом исчислении до $22 млрд.
• Расходы на оборудование Amazon увеличатся на $8 млрд в годовом исчислении до $41 млрд (за счёт AWS, затраты ретейл-сегмента не поменяются).

Также исследователи отметили, что Meta✴ лидирует по соотношению капвложений и выручки (% от выручки), и с 2022 года компания постоянно наращивает капитальные затраты на ИИ (собственный суперкомпьютер, LLM и т. д.). Расходы Meta✴ по объёму сравнимы с расходами более крупных гиперскейлеров. Одним из возможных результатов может быть появления нового облачного решения для рекламодателей.

Компания Xerox организовала миграцию из собственных ЦОД в облако Microsoft Azure. По данным Datacenter Dynamics, переход осуществляется с помощью компании Tata Consultancy Services (TCS), которая будет способствовать переносу нагрузок со старых дата-центров в публичное облако. По состоянию на 2016 год Xerox имела восемь дата-центров: два в Канаде, четыре в Европе и два в США.

О текущем состоянии инфраструктуры ЦОД Xerox сегодня известно очень мало, как и о том, намерена ли она окончательно отказаться от собственных ЦОД. При этом говорится, что после миграции Xerox получит облачную ERP-платформу и начнёт использовать технологии вроде генеративного ИИ в своей деятельности. TCS разработает новую операционную модель для компании с акцентом на работу в облачной инфраструктуре, в числе прочего речь идёт о создании корпоративной ИИ-платформы.

Источник изображения: Claude Laprise / Unsplash

По словам Xerox, инициатива, связанная с цифровой трансформацией — важный этап для пересмотра модели работы компании, призванный упростить как ключевые процессы, так и улучшить клиентский опыт. Впервые Xerox объявила о намерении отдать приоритет облакам ещё в 2023 году. Как сообщают в TCS, инициатива позволит организации со столетней историей быстро трансформироваться в более гибкую и высокотехнологичную компанию. Катализатором этого, по словам компании, стали технологии генеративного ИИ.