Глава Tesla Илон Маск (Elon Musk), по сообщению ресурса Tom's Hardware, обнародовал фотографии вычислительного комплекса Dojo, который будет использоваться для разработки инновационных автомобильных технологий, а также для обучения автопилота.

Tesla, напомним, начала создание ИИ-суперкомпьютера Dojo в июле 2023 года. Основой системы послужат специализированные чипы собственной разработки Tesla D1. Дата-центр Dojo, расположенный в штаб-квартире Tesla в Остине (Техас, США), по своей конструкции напоминает бункер. В апреле нынешнего года сообщалось, что при строительстве ЦОД компания Маска столкнулась с трудностями, связанными в том числе с доставкой необходимых материалов.

Как теперь сообщается, Tesla намерена ввести Dojo в эксплуатацию до конца 2024 года. По производительности этот суперкомпьютер будет сопоставим с кластером из 8 тыс. ускорителей NVIDIA H100. По словам Маска, это «не слишком много, но и не тривиально». Для сравнения: мощнейший ИИ-суперкомпьютер компании xAI, также курируемой Илоном Маском, объединит 100 тыс. карт H100.

Источник изображений: Илон Маск

Отмечается, что чипы Tesla D1 специально ориентированы на машинное обучение и анализ видеоданных. Поэтому систему Dojo планируется использовать прежде всего для совершенствования технологии автономного вождения Tesla путём обработки видеоданных, полученных от автомобилей компании. В свою очередь, «ИИ-гигафабрика» xAI поможет в развитии чат-ботов Grok следующего поколения.

Маск также сообщил, что компания Tesla намерена «удвоить усилия» по разработке и развертыванию Dojo из-за высоких цен на оборудование NVIDIA. Вместе с тем финансовый директор Tesla Вайбхав Танеджа (Vaibhav Taneja) заявил, что, несмотря на снижение капвложений во II квартале 2024 года, компания по-прежнему ожидает, что соответствующие затраты превысят $10 млрд.

Бывший генеральный директор Google Эрик Шмидт (Eric Schmidt) прогнозирует, что в обозримом будущем в США и Китае большие суперкомпьютеры будут заниматься ИИ-вычислениями под защитой военных баз. В интервью Noema он подробно рассказал о том, каким видит новые ИИ-проекты, и это будущее вышло довольно мрачным.

Шмидт поведал о том, как правительства будут регулировать ИИ и искать возможности контроля ЦОД, работающих над ИИ. Покинув Google, бизнесмен начал очень тесно сотрудничать с военно-промышленным комплексом США. По его словам, рано или поздно в США и Китае появится небольшое число чрезвычайно производительных суперкомпьютеров с возможностью «автономных изобретений» — их производительность будет гораздо выше, чем государства готовы свободно предоставить как своим гражданам, так и соперникам.

Каждый такой суперкомпьютер будет соседствовать с военной базой, питаться от атомного источника энергии, а вокруг будет колючая проволока и пулемёты. Разумеется, таких машин будет немного — гораздо больше суперкомпьютеров будут менее производительны и доступ к ним останется более широким. Строго говоря, самые производительные суперкомпьютеры США принадлежат Национальным лабораториям Министерства энергетики США, которые усиленно охраняются и сейчас.

Как заявил Шмидт, необходимы и договорённости об уровнях безопасности вычислительных систем по примеру биологических лабораторий. В биологии широко распространена оценка по уровням биологической угрозы для сдерживания её распространения и оценки уровня риска заражения. С суперкомпьютерами имеет смысл применить похожую классификацию.

Источник изображения: Joel Rivera-Camacho/unsplash.com

Шмидт был председателем Комиссии национальной безопасности США по ИИ и работал в Совете по оборонным инновациям. Также он активно инвестировал в оборонные стартапы. В то же время Шмидт сохранил влияние и в Alphabet и до сих пор владеет акциями компании стоимостью в миллиарды долларов.

Военные и разведывательные службы США пока с осторожностью относятся к большим языковым моделям (LLM) и генеративному ИИ вообще из-за распространённости «галлюцинаций» в таких системах, ведущих к весьма правдоподобным на первый взгляд неверным выводам. Кроме того, остро стоит вопрос сохранения секретной информации в таких системах.

Ранее в этом году Microsoft подтвердила внедрение изолированной от интернета генеративной ИИ-модели для спецслужб США после модернизации одного из своих ИИ-ЦОД в Айове. При этом представитель Microsoft два года назад предрекал, что нынешнее поколение экзафлопсных суперкомпьютеров будет последним и со временем все переберутся в облака.

Microsoft и G42, базирующаяся в ОАЭ, объединили усилия для постройки дата-центра в Кении. Его электропитание будет обеспечиваться за счёт геотермальной энергии. Datacenter Knowledge сообщает, что это лишь начальная часть многолетнего плана, в рамках которого будут значительно увеличены облачные мощности на востоке Африки. В конце прошлого года Кения уже заявляла о намерении направить $4,5 млрд на «зелёные» проекты: 200-МВт ЦОД EcoCloud, геотермальную энергетику и умное сельское хозяйство.

G42 займётся инвестициями на первом этапе и будет отвечать за строительство объекта в Олкарии, где расположено немало геотермальных источников. Это важно для континента, где перебои с электроэнергией — скорее норма, чем исключение. Кроме того, проект отвечает планам Microsoft по декарбонизации своей деятельности. Первая очередь обеспечит 100 МВт и будет введена в эксплуатацию в ближайшие пару лет. Для полной реализации проекта потребуется 1 ГВт, причём пока не сообщается, сколько времени пройдёт до ввода всех объектов в эксплуатацию и во сколько это обойдётся.

Microsoft намерена использовать первую очередь объекта для создания восточноафриканского региона Azure. Пока ближайший к клиентам из Кении ЦОД Microsoft расположен в Южной Африке. В рамках новой сделки кенийские власти согласились перенести больше своих сервисов в облака, что, по расчётам Microsoft, будет стимулировать спрос в целом. Новый ЦОД предложит ИИ-сервисы и облачные вычисления и ближайшим странам вроде Уганды, Руанды и Танзании.

Источник изображения: Matt Palmer/unsplash.com

Инициатива Microsoft и G42 анонсирована накануне встречи американского и кенийского президентов, намеренных объявить об укреплении связей между странами для противостояния китайскому и российскому влиянию в регионе. Компании вроде Huawei активно вкладывают деньги в Африку, создавая ЦОД, интернет-сервисы, системы слежения и умные энергосети. А экспансия в Кении — лишь часть проекта ОАЭ по получению влияния в Африке, куда Эмираты готовы инвестировать $100 млрд.

В апреле Microsoft согласилась инвестировать $1,5 млрд в G42. Активное участие в сделке приняла администрация президента США — предположительно, G42 согласилась прекратить ведение бизнеса с компаниями КНР, включая Huawei, и обязалась использовать вместо китайских американские технологии. При этом президент Microsoft Брэд Смит (Brad Smith) должен войти в состав совета директоров G42, а последняя будет использовать облако Azure для своих ИИ-проектов.

В Кении G42 будет работать над большими языковыми моделями для суахили и английского, а также французского и других локальных языков. Также компания будет создавать ИИ-модели для сельского хозяйства и других сфер деятельности, а Microsoft будет отвечать в том числе за киберзащиту местных клиентов и поможет обеспечить широкополосным интернетом около 40 % населения Кении уже к концу следующего года. Ожидается, что прибыль партнёры начнут получать через несколько лет.

Операторам дата-центров и суперкомпьютеров не хватает инструментов для корректного измерения энергоэффективности их оборудования и оценки прогресса на пути к экоустойчивым вычислениям. Как утверждает NVIDIA, нужна новая система оценки показателей при использовании оборудования в реальных задачах.

Для оценки эффективности ЦОД существует как минимум около трёх десятков стандартов, некоторые уделяют внимание весьма специфическим критериям вроде расхода воды или уровню безопасности. Сегодня чаще всего используется показатель PUE (power usage effectiveness), т.е. отношение энергопотребления всего объекта к потреблению собственно IT-инфраструктуры. В последние годы многие операторы достигли практически идеальных значений PUE, поскольку, например, на преобразование энергии и охлаждение нужно совсем мало энергии.

В эпоху роста облачных сервисов оценка PUE показала довольно высокую эффективность, но в эру ИИ-вычислений этот индекс уже не вполне соответствует запросам отрасли ЦОД — оборудование заметно изменилось. NVIDIA справедливо отмечает, что PUE не учитывает эффективность инфраструктуры в реальных нагрузках. С таким же успехом можно измерять расход автомобилем бензина без учёта того, как далеко он может проехать без дозаправки. При этом среднемировой показатель PUE дата-центров остаётся неизменным уже несколько лет, а улучшать его всё дороже.

Источник изображений: NVIDIA

Что касается энергопотребления, разное оборудование при одинаковых затратах может давать самые разные результаты. Другими словами, если современные ускорители потребляют больше энергии, это не значит, что они менее эффективны, поскольку они дают несопоставимо лучший результат в сравнении со старыми решениями. NVIDIA неоднократно приводила подобные сравнения и между своими GPU с обычными CPU, а теперь предлагает распространить этот подход на ЦОД целиком, что справедливо, учитывая стремление NVIDIA сделать минимальной единицей развёртывания целую стойку.

Как считают в NVIDIA, оценивать качество ЦОД можно только с учётом того, сколько энергии тратится для получения результата. Так, ЦОД для ИИ могут полагаться на MLPerf-бенчмарки, суперкомпьютеры для научных исследований могут требовать измерения других показателей, а коммерческие дата-центры для стриминговых сервисов — третьих. В идеале бенчмарки должны измерять прогресс в ускоренных вычислениях с использованием специализированных сопроцессоров, ПО и методик. Например, в параллельных вычислениях GPU намного энергоэффективнее обычных процессоров

Отмечается, что с 2003 года производительность ускорителей выросла приблизительно в 7 тыс. раз, а соотношение цены и производительности стало в 5,6 тыс. раз лучше. А с учётом того, что современные ЦОД достигли PUE на уровне приблизительно 1,2, подобная метрика практически исчерпала себя, теперь стоит ориентироваться на другие показатели, релевантные актуальным проблемам.

Хотя напрямую сравнить некоторые аспекты невозможно, сегментировав деятельность ЦОД на типы рабочих нагрузок, возможно, удалось бы получить некоторые результаты. В частности, операторам ЦОД нужен пакет бенчмарков, измеряющих показатели при самых распространённых рабочих ИИ-нагрузках. Например, неплохой метрикой может стать Дж/токен. Впрочем, NVIDIA грех жаловаться на недостойные оценки — в последнем рейтинге Green500 именно её системы заняли лидерские позиции.

Equinix заключила предварительное соглашение с создателем малых модульных реакторов (SMR) Oklo, поддерживаемым главой OpenAI Сэмом Альтманом (Sam Altman). По данным Datacenter Dynamics, это первый договор, подписанный оператором, предусматривающий использование SMR. В заявлении по форме S4, поданном AltC Acquisition Corp в Комиссию по ценным бумагам и биржам США (SEC), раскрываются некоторые детали сделки.

В частности, Equinix внесла в качестве предоплаты $25 млн. Считается, что в данном случае речь идёт о финансировании акционерного капитала — Equinix получает возможность купить долю в 1,5-1,9 % в бизнесе Oklo. Сейчас разработчик реакторов находится в стадии обратного слияния со SPAC-компанией AltC Acquisition, намеренной вывести специалистов по атомной энергетике на IPO в июле 2024 года. Вместо акций Equinix также может получить дисконт на приобретение энергии.

Источник изображения: Oklo

Модульные реакторы Oklo на быстрых нейтронах способны генерировать до 15 МВт каждый и работать до 10 лет без перезарядки. Equinix будет получать энергию от SMR Oklo в США в течение 20 лет. Конкретные объёмы будут оговариваться в будущих соглашениях о покупке энергии (PPA), а в будущем Equinix сможет обновить и расширить PPA ещё на 20 лет. Оператор ЦОД также получил право преимущественной покупки энергии, вырабатываемой определёнными реакторами, сроком на 36 месяцев — выкупаемая мощность составит 100–500 МВт.

SMR, разрабатываемые также NuScale, Rolls-Royce и другими компаниями, предлагаются в качестве источника «низкоуглеродного» экобезопасного питания для ЦОД — это позволит дата-центрам работать без подключения к магистральным электросетям. В прошлом году Standard Power анонсировала планы приобрести 24 SMR у NuScale, хотя позже его назвали фейковым.

Nautilus Data Technologies запустила новую серию решений для модульных дата-центров на основе разработанных ранее технологий охлаждения. По данным Datacenter Dynamics, новый проект предлагает варианты для ЦОД ёмкостью до 2,5 МВт. По словам Nautilus, EcoCore расширяет эффективность сборных конструкций и упрощает процесс строительства, позволяя интегрировать рабочее пространство с техническими помещениями и размещать MEP-компоненты (электрику, водоснабжение и вентиляцию) на крыше.

Конструкция использует четыре CDU-установки для кондиционирования, каждая из которых способна отводить до 833 кВт тепла. Система поддерживает как традиционные варианты охлаждения, так и современные жидкостные. Основной модуль электропитания (PEU) обеспечивает мощность 1250 кВт (415 В, три фазы), но есть и точно такой же резервный (N+1).

Новинка будет развёрнута в Start Campus в Синише (Португалия) — впервые за пределами собственных мощностей Nautilus. EcoCore, по словам компании, соответствует запросам Start по организации бесперебойной работы серверов высокой плотности с СЖО. Компании договорились о сотрудничестве в прошлом году и заключили «многомегаваттное» соглашение. Первый модуль EcoCore будет развёрнут в ходе первой фазы строительства кампуса Start. В Nautilus и Start заявляют, что экобезопасные технологии первой задают новый стандарт в индустрии, обеспечивая непревзойдённые эффективность и адаптивность.

Источник изображения: Nautilus

Nautilus известна прежде всего проектами плавучих ЦОД и системой охлаждения дата-центров речной или морской водой. Пока компания выступает лишь оператором ЦОД-баржи в Стоктоне (Калифорния), но планирует построить и наземный объект в Мэне. Также в работе находятся и другие проекты в США, Франции и Ирландии. Меморандумы о взаимопонимании заключены в Таиланде и на Филиппинах. Впрочем, появление EcoCore, похоже, указывает на желание стать поставщиком решений для других операторов.

Принадлежащая инвестиционному фонду Davidson Kempner и британской British Pioneer Point Partners компания Start намерена построить 495-МВт кампус площадью 60 га в Португалии. Компании заявили, что Nautilus поставит охладительные системы и для второй фазы проекта, предусматривающего расширение на 120 МВт. Ранее Start оказалась вовлечена в коррупционный скандал.

Coherent анонсировала специализированные оптические коммутаторы для ИИ-кластеров высокой плотности. В основу устройств Optical Circuit Switch (OCS) положена фирменная платформа кросс-коммутации Lightwave Cross-Connect (DLX). В изделиях, в отличие от традиционных коммутаторов, не применяются приемопередатчики для преобразования фотонов в электроны и обратно. Вместо этого все операции осуществляются в оптическом тракте: импульсы поступают в один порт и выходят из другого (конечно, с небольшим ослаблением).

Coherent выделяет несколько ключевых преимуществ своей технологии. Прежде всего значительно возрастает производительность, что важно при решении ресурсоёмких задач, связанных с приложениями ИИ. Кроме того, благодаря отказу от преобразования среды сокращаются энерозатраты. Наконец, отпадает необходимость в обновлении собственно коммутаторов при установке в ЦОД оборудования следующего поколения. Это значительно повышает окупаемость капитальных затрат.

Источник изображения: Coherent

Представленное решение насчитывает 300 входных и 300 выходных оптических портов. Коммутаторы OCS помогают решить проблемы масштабируемости и надёжности дата-центров, ориентированных на приложения ИИ. Аналитики Dell'Oro Group отмечают, что для ИИ-задач требуется более высокий уровень отказоустойчивости, нежели для традиционных приложений. Крайне важно, чтобы коммутаторы, используемые в составе ИИ-платформ, не провоцировали никаких перебоев во время обучения или эксплуатации больших языковых моделей. Устройства Coherent, как сообщается, обеспечивают необходимый уровень надёжности.

Массовые поставки новых коммутаторов планируется организовать в 2025 году. При этом Google уже использует в своих дата-центрах оптические коммутаторы (OCS) собственной разработки на базе MEMS-переключателей для формирования ИИ-кластеров, а Meta✴ совместно с MIT разработала систему TopoOpt, представляющую собой оптическую патч-панель с манипулятором, который позволяет менять топологию сети.

Облачный гигант Amazon Web Services (AWS) приобрёл у Talen Energy Corporation кампус ЦОД, строящийся у атомной электростанции Susquehanna в Пенсильвании (США). По данным Datacenter Dynamics, ещё на минувшей неделе Talen объявила о продаже кампуса «крупному облачному провайдеру». В презентации для инвесторов было раскрыто, что речь идёт об AWS.

Кампус Cumulus Data площадью более 485 га впервые анонсировали ещё в 2021 году — он находится в непосредственной близости от принадлежащей Talen АЭС мощностью 2,5 ГВт. Компания начала строительство в 2021 году и завершила первый объект гиперскейл-уровня на 28,9 тыс. м² и 48 МВт в 2023 году. Параллельно возводилась отдельная ферма для криптомайнинга для компании TeraWulf, но она, похоже, не является частью сделки с Amazon.

Изображение: Cumulus Data

Площадка и активы Cumulus Data проданы за $650 млн — $350 млн выплачены сразу, ещё $300 млн будут выплачены после завершения этапов строительства, запланированных на 2024 год. Дополнительно предусмотрена и гарантированная продажа «безуглеродной» электроэнергии станции Susquehanna по фиксированной цене, которая может быть пересмотрена только через 10 лет. В Talen уже сообщили, что довольны сделкой, которая принесла выгода и обеспечила возврат инвестиций.

Источник: Talen Energy

Ожидается, что в конечном итоге ёмкость кампуса AWS достигнет 960 МВт. У компании есть обязательства по минимальному потреблению энергии, они будут увеличиваться в течение нескольких лет с шагом в 120 МВт. Впрочем, у AWS остаётся возможность единовременно ограничить обязательства лимитом в 480 МВт. В рамках сделки предусмотрены и другие договорённости. Например, Talen обязуется поставлять с АЭС электричество кампусу AWS в рамках PPA.

Электростанция Susquehanna Steam Electric мощностью 2,5 ГВт была сдана в эксплуатацию в 1983 году — это одна из крупнейших атомных станций в США. Теперь ей владеет Talen Energy, основанная в 2015 году. В 2020 году компания основала Cumulus Growth для инвестиций «на стыке цифровой инфраструктуры и энергетики», а также Cumulus Coin, занимающуюся майнингом криптовалют. В России с 2018 года действует дата-центр «Калининский», расположенный у одноимённой АЭС в Тверской области.

Чилийский суд пересмотрел уже полученное Google разрешение на строительство в стране ЦОД за $200 млн. По данным Datacenter Dynamics, дата-центр планируется построить в столице Чили — Сантьяго. Суд предписал гиперскейлеру пересмотреть положения заявки, приняв во внимание масштабные климатические изменения и истощение водных ресурсов чилийской столицы.

В постановлении предписывается оценить потенциал Центрального водоносного горизонта Сантьяго и принять во внимание возможную доработку систем охлаждения серверов. В Чили и, в частности, в Сантьяго в течение 15 лет продолжается беспрецедентная засуха, из-за чего серьёзно пострадало водоснабжение столицы — в 2022 году было введено нормирование воды, а ранее в этом месяце в результате «рекордного» пожара погибли минимум 112 человек, а тысячи лишились мест проживания.

Google заявила, что уже внесла изменения в заявку на строительство, предусматривающие использование воздушного охлаждения. В декабре 2023 года AWS тоже получила разрешение властей на строительство кампуса ЦОД в Сантьяго, но в этом случае, видимо, никаких проблем не было.

Источник изображения: Jesus Fernandez/unsplash.com

Схожая ситуация наблюдается и в соседнем Уругвае, который тоже страдает от засухи. Местная оппозиция буквально восстала против плана Google построить ЦОД на юге страны, поскольку в результате судебного разбирательства выяснилось, что охлаждающим установкам ЦОД понадобится 7,6 млн литров питьевой воды ежедневно. В Google заявляют, что уругвайский проект находится лишь на стадии подготовки и техническая команда IT-гиганта активно работает над ним при поддержке властей.

В Москве завершили строительство одного из крупнейших в России центров обработки данных (ЦОД) «Москва-2», пишет ТАСС со ссылкой на сообщение председателя Мосгосстройнадзора.

«После открытия “Москва-2” станет первым в стране коммерческим дата-центром, сертифицированным по Tier IV Constructed Facility — самому высокому уровню международного отраслевого стандарта надёжности и отказоустойчивости. В нем будет размещено серверное и сетевое оборудование для обработки, хранения и передачи больших массивов данных с использованием новейших технологий, чтобы обезопасить информацию как от физических, так и от виртуальных угроз», — сообщает пресс-служба комитета.

Источник изображения: atomdata.ru

ЦОД «Москва-2» также станет первым объектом в сети «Росатома» с таким высоким уровнем надёжности, отметил гендиректор компании «Атомдата-Центр», дивизиона госкорпорации «Росэнергоатом», которая и купила площадку за почти 24 млрд руб. ЦОД «Москва-2» расположен в Южном административном округе Москвы на территории площадью более 20 тыс. м². Дата-центр рассчитан на 3640 стойко-мест и имеет четыре машинных зала по 910 стоек. Общая подведённая мощность составляет 36 МВт (5 кВт на стойку).

Источник изображения: atomdata.ru

Для охлаждения залов используется распределённая гидравлическая система на базе воздухоохладителей и холодильных машин. Применяется схема охлаждения стоек с изолированным горячим коридором. На каждый машинный зал приходится 32 воздухоохладителя: 28 — в работе, 4 — в резерве (N+4). Бесперебойную работу ЦОД гарантирует автономная система энергообеспечения, включающая 16 дизель-генераторных установок мощностью свыше 2,5 тыс. кВт каждая. Также здесь есть административная зона с кабинетами и переговорными. В ЦОД заведены две волоконно-оптические трассы разными маршрутами.