На этой неделе на платформе YouTube появился видеоролик блогера Брэда Слоана (Brad Sloan), посвящённый строительству новых объектов гигафабрики Tesla в Техасе (Gigafactory Texas), включая ЦОД, где будет размещён ИИ-кластер на базе суперкомпьютера Dojo. В соцсети X глава Tesla Илон Маск (Elon Musk) заявил, что уже в этом году энергопотребление этой системы составит 130 МВт, а через 18 месяцев этот показатель вырастет до 500 МВт и данный кластер станет крупнейшим в мире.

Строительство ЦОД стартовало в октябре прошлого года. Хотя компания не стала предавать гласности график строительства и намеченные сроки завершения, пока всё идёт не так, как планировалось Маском. В частности, есть сложности с доставкой материалов в Остине. Также наблюдаются задержки со строительством под площадкой дата-центра туннеля для передвижения электрических пикапов Cybertruck, за которое несёт ответственность основанная Маском компания Boring Company.

Источник изображений: Brad Sloan/YouTube

После посещения площадки Маск уволил директора по строительной инфраструктуре проекта, а также провёл кадровые перестановки. Также сообщается, что миллиардер отложил и даже отменил некоторые проекты Tesla, чтобы направить все строительные ресурсы на этот объект.

Илон Маск уточнил в комментариях, что ИИ-кластер будет использовать не только чипы собственной разработки Tesla D1, но и ускорители NVIDIA, а также других поставщиков, хотя ранее он говорил, что в основу суперкомпьютера Dojo лягут только фирменные ускорители Tesla. Как сообщается, затраты Tesla на проект Dojo в этом году составят более $1 млрд. Маск уверен, что ИИ ускорит обучение систем автономного вождения электромобилей и разработку инновационных технологий для роботизированных автомобилей.

Вместе с тем, Маск уделяет большое внимание строительству стартапом xAI «крупнейшего в мире» кластера ускорителей в Северной Дакоте. С его помощью он планирует расширить возможности чат-бота Grok благодаря совершенствованию больших языковых моделей, стоящих за ним. Недавно Маск подтвердил передачу ускорителей NVIDIA H100, ранее заказанных Tesla, социальной сети X и ИИ-стартапу xAI. Это вызвало вопросы у акционеров Tesla по поводу того, какой проект на самом деле является приоритетным для Илона Маска. Для xAI, в частности, планируется создать систему с 300 тыс. NVIDIA B200.

Стартап Cerebras Systems Inc., выпускающий передовые ИИ-чипы и конкурирующий с NVIDIA, по слухам, подал регуляторам США документы для выхода на биржу Nasdaq. По данным Silicon Angle, IPO должно состояться позже в 2024 году.

Компания выпускает специализированные и весьма производительные ИИ-чипы размером с кремниевую пластину. У NVIDIA немного конкурентов на мировом рынке, но Cerebras — как раз из их числа. Новейший флагманский чип компании WSE-3 был анонсирован в марте, ему предшествовала модель WSE-2, дебютировавшая в 2021 году. Ожидается, что WSE-3 станет доступен до конца текущего года.

Источник изображения: Cerebras

Cerebras говоит, что WSE-3 имеет в 52 раза больше ИИ-ядер, чем ускоритель NVIDIA H100. Чип будет доступен в составе модуля CS-3 размером с небольшой холодильник с интегрированной системой охлаждения и блоком питания. WSE-3 имеет пиковое быстродействие 125 Пфлопс в разреженных FP16-вычислениях. В компании утверждают, что таких характеристик более чем достаточно для конкуренции с лучшими ускорителями NVIDIA, а её чипы не только быстрее, но и энергоэффективнее.

Статус компании, похоже, действительно способной конкурировать NVIDIA, должен привлечь внимание инвесторов. Например, с началом эры ИИ акции NVIDIA выросли почти на порядок, поэтому не исключено, что и Cerebras ожидает впечатляющий успех. По имеющимся данным, Cerebras уведомила регуляторов в Делавэре, где компания официально зарегистрирована, о намерении предложить в ходе ожидающегося раунда инвестиций привилегированные акции с большой скидкой.

Хотя в самой Cerebras не комментируют слухи об IPO, Bloomberg сообщил, что компания выбрала Citigroup в качестве ведущего банка для первичного листинга. В Bloomberg отмечают, что IPO состоится не раньше II половины 2024 года, а руководство рассчитывает на оценку не менее $4 млрд, которую компания получила после последнего раунда финансирования серии F, позволившего привлечь $250 млн в 2021 году.

Компания Google пообещала инвестировать в три собственных кампуса ЦОД дополнительные $2,3 млрд. Datacenter Dynamics сообщает, что дата-центры расположены в Огайо — в Нью-Олабани и Ланкастере, а ещё один строится в Коламбусе. IT-гигант уже потратил с 2019 года на инфраструктуру в штате $4,4 млрд.

Пока не раскрывается, как средства будут распределяться между объектами и кампусами. Местные власти подчёркивают, что дополнительные денежные вливания превращают Центральный Огайо в важный технологический хаб на территории США.

Впервые Google начала осваивать площадки в Огайо в 2019 году, начав строить дата-центр в Нью-Олбани стоимостью $600 млн. В том же году компания выделила ещё $1 млрд на строительство ЦОД в Коламбусе и Ланкастере, а в 2021 году запланировано расширение площадки в Нью-Олбани. Наконец, в 2023 году Google инвестировала в штате дополнительные $1,7 млрд.

Источник изображения: Matthew Bornhorst/unsplash.com

В число клиентов ЦОД в Огайо входят Nationwide, Huntington Bancshares, Victoria's Secret, и Wendy's, а также власти штата. В прошлом году Google заключила соглашение с EDP Renewables North America о реализации проектов, связанных с солнечной энергетикой на 500 МВт, большая часть которых приходится как раз на Огайо.

В 2023 Amazon (AWS) анонсировала инвестиции $7,8 млрд в дата-центры в том же штате, а ранее в текущем году компания приобрела около 95 га в местном округе Пикавэй для дальнейшей экспансии на рынке ЦОД. Собственные планы по развитию в штате имеет и Microsoft — компания рассматривает строительство здесь ЦОД в Коламбусе, округе Ликинг и Нью-Олбани.

Крупные технокомпании вроде Microsoft и Google горят желанием использовать всё больше энергии от атомных электростанций для питания своих ЦОД, но намного меньше у них желания вкладывать средства в строительство новых АЭС. По данным Bloomberg, об этом они официально заявили на конференции Nuclear Society. По информации издания, ИИ и ЦОД, вероятно, впервые обеспечат существенный рост энергопотребления в США.

Но участники конференции объявили, что находятся в «неподходящем положении» для того, чтобы помогать в разработке АЭС. Дело в том, что строительство реакторов, особенно на базе новых технологий, по мнению Google, весьма рискованно. Техногиганты готовы платить «разумную надбавку» за уже доступную им чистую энергию, но не хотят инвестировать в компании, непосредственное занятые строительством АЭС. В Google подчеркнули, что всецело поддерживают атомную энергетику, но считают, что брать риски на себя должны не конечные потребители.

Дискуссия развернулась после того, как Билл Гейтс (Bill Gates) заявил, что намерен вложить миллиарды долларов в создание АЭС на базе малого модульного реактора (SMR) в Вайоминге, строительство которой уже начато компанией TerraPower. Поддержка Гейтса станет ключевой на фоне рисков, связанных с атомной энергетикой. Строительство планируется завершить в 2030 году, с отставанием на два года от озвученного в 2021 году срока. В Вайоминге же планируется установка SMR от компании Oklo, поддерживаемой главой OpenAI.

Источник изображения: Dan Meyers/unsplash.com

В апреле в Джорджии компания Southern Co. впервые за десятилетия завершила строительство новой АЭС в США, на семь лет позже запланированного и с увеличением бюджета приблизительно на 150 %. Возможно, именно поэтому IT-компании заявляют, что должны сконцентрироваться на своих сильных сторонах, строя дата-центры, тогда как поставками энергии должны заниматься коммунальные службы. Об этом, в частности, объявил главный менеджер по энергетике и устойчивости Microsoft Адриан Андерсон (Adrian Anderson).

По его словам, если дата-центр нуждается в чистой энергии, оператор должен связаться с поставщиком электричества, а вовсе не с производителем ветряных турбин, а сами высказывания о том, что отдельные покупатели должны самостоятельно оценивать риски инвестиций в атомные технологии он назвал «смехотворной концепцией». При этом сама Microsoft набирает команду и топ-менеджеров для развития направления SMR.

Сегодня новые реакторы разрабатываются многими компаниями, но им понадобится значительная финансовая помощь для того, чтобы перейти к строительству и коммерциализации новых объектов. Несмотря на то, что в появлении большего числа АЭС заинтересованы как энергокомпании, так и операторы ЦОД, техногиганты не спешат в массовом порядке заниматься финансированием таких проектов. По словам недавно покинувшего пост директора по энергетической стратегии Meta✴ Питера Фрида (Peter Freed), сама идея того, что IT-компании спасут положение и просто «выпишут чек» ошибочна.

Военно-морские силы США успешно реализовали пилотный проект, предусматривающий подключение военных кораблей к облачным сервисам. По данным Datacenter Dynamics, работоспособность концепции, предусматривающей передачу в облако терабайт данных ежедневно, изучили на примере авианосца «Авраам Линкольн».

Облачный проект Flank Speed Edge с тысячами пользователей — это одно из расширений проекта Flank Speed, предусматривающего совместную работу в облаке многих представителей военного и государственного аппарата. Возможность масштабной передачи данных обеспечена спутниковыми сервисами Proliferated Low Earth Orbit (P-LEO). Находящиеся на низкой околоземной орбите спутники могут общаться в том числе и друг с другом.

Источник изображения: Clint Davis/Public Domain

В ходе пилотного проекта ВМС организовали спутниковое соединение гигабитного класса — возможна передача 3–5 Тбайт данных ежедневно. Например, можно использовать IP-телефонию, передавать данные в целях обучения, для медицинских сервисов, снабжения. При этом отмечается, что в случае необходимости все эти сервисы могут быть отключены без потери функциональности корабля. Вся спутниковая инфраструктура вместе с набортной сетью Wi-Fi может управляться всего тремя моряками. Проект также позволяет обновлять бортовое ПО без необходимости захода в порт.

Отмечается, что иногда высокоскоростные соединения необходимо отключать, поскольку P-LEO обеспечивает безопасную передачу только не особенно секретных данных. При этом инфраструктура разработана таким образом, что способна использовать многочисленные механизмы подключения, включая военную группировку SATCOM и Starlink. Дополнительно ВМС внедряют систему Flank Speed Edge на береговых объектах, испытывающих трудности с традиционными вариантами подключения, включая, например, штаб-квартиру Пятого флота США в Бахрейне.

В ходе недавнего отчёта о доходах председатель Oracle Ларри Эллисон (Larry Ellison) поднял вопрос о возможности использования микро-ЦОД на кораблях и даже подводных лодках. По его словам, скоро компания сможет обеспечить работу полноценного облака Oracle Cloud всего на шести стойках половинной высоты, которые можно разместить где угодно — в том числе на подводных и надводных кораблях. По мнению Эллисона, такое не может предложить никакая другая компания. При этом все облака Oracle идентичны и поддерживают все сервисы Oracle, отличаясь только масштабом.

Бывший генеральный директор Google Эрик Шмидт (Eric Schmidt) прогнозирует, что в обозримом будущем в США и Китае большие суперкомпьютеры будут заниматься ИИ-вычислениями под защитой военных баз. В интервью Noema он подробно рассказал о том, каким видит новые ИИ-проекты, и это будущее вышло довольно мрачным.

Шмидт поведал о том, как правительства будут регулировать ИИ и искать возможности контроля ЦОД, работающих над ИИ. Покинув Google, бизнесмен начал очень тесно сотрудничать с военно-промышленным комплексом США. По его словам, рано или поздно в США и Китае появится небольшое число чрезвычайно производительных суперкомпьютеров с возможностью «автономных изобретений» — их производительность будет гораздо выше, чем государства готовы свободно предоставить как своим гражданам, так и соперникам.

Каждый такой суперкомпьютер будет соседствовать с военной базой, питаться от атомного источника энергии, а вокруг будет колючая проволока и пулемёты. Разумеется, таких машин будет немного — гораздо больше суперкомпьютеров будут менее производительны и доступ к ним останется более широким. Строго говоря, самые производительные суперкомпьютеры США принадлежат Национальным лабораториям Министерства энергетики США, которые усиленно охраняются и сейчас.

Как заявил Шмидт, необходимы и договорённости об уровнях безопасности вычислительных систем по примеру биологических лабораторий. В биологии широко распространена оценка по уровням биологической угрозы для сдерживания её распространения и оценки уровня риска заражения. С суперкомпьютерами имеет смысл применить похожую классификацию.

Источник изображения: Joel Rivera-Camacho/unsplash.com

Шмидт был председателем Комиссии национальной безопасности США по ИИ и работал в Совете по оборонным инновациям. Также он активно инвестировал в оборонные стартапы. В то же время Шмидт сохранил влияние и в Alphabet и до сих пор владеет акциями компании стоимостью в миллиарды долларов.

Военные и разведывательные службы США пока с осторожностью относятся к большим языковым моделям (LLM) и генеративному ИИ вообще из-за распространённости «галлюцинаций» в таких системах, ведущих к весьма правдоподобным на первый взгляд неверным выводам. Кроме того, остро стоит вопрос сохранения секретной информации в таких системах.

Ранее в этом году Microsoft подтвердила внедрение изолированной от интернета генеративной ИИ-модели для спецслужб США после модернизации одного из своих ИИ-ЦОД в Айове. При этом представитель Microsoft два года назад предрекал, что нынешнее поколение экзафлопсных суперкомпьютеров будет последним и со временем все переберутся в облака.

Администрация общих служб США (GSA) реализовала на аукционе НРС-систему под названием Cheyenne, которая была введена в строй в Центре суперкомпьютерных вычислений NCAR-Wyoming (NWSC) штата Вайоминг в 2016 году. Стоимость лота составила $480 085, тогда как затраты на строительство машины оцениваются как минимум в $25 млн.

Cheyenne стал одним из последних суперкомпьютеров компании Silicon Graphics International (SGI). Корпорация HPE приобрела эту фирму после того, как Cheyenne был смонтирован, но до фактического запуска системы в эксплуатацию. На момент начала работы производительность комплекса составляла 5,34 Пфлопс, что соответствовало 20 месту в актуальном тогда списке ТОР500.

Cheyenne представляет собой кластер SGI ICE XA с 4032 узлами, каждый из которых содержит два процессора Intel Xeon E5-2697v4 Broadwell (18C/36; 2,3 ГГц). Таким образом, суммарное количество ядер достигает 145 152. Применяется оперативная память DDR4-2400 ECC общей ёмкостью 313 Тбайт (4890 модулей на 64 Гбайт). В состав машины изначально входило хранилище данных вместимостью 40 Пбайт. Энергопотребление — приблизительно 1,7 МВт. Задействована система жидкостного охлаждения.

Источник изображения: GSA

Две стойки управления с воздушным охлаждением состоят из 26 серверов типоразмера 1U (20 со 128 Гбайт ОЗУ и ещё 6 с 256 Гбайт ОЗУ), 10 коммутаторов и двух блоков питания. Суперкомпьютер эксплуатировался с 12 января 2017 года по 31 декабря 2023-го, решая задачи в области изменений климата и в других сферах, связанных с науками о Земле. Cheyenne превзошёл свой запланированный срок службы: в заявлении NWSC говорилось, что он будет эксплуатироваться до 2021 года. Однако к концу 2023-го количество сбоев и проблем стало слишком большим.

В описании лота говорится, что «примерно 1 % узлов столкнулись с отказами за последние шесть месяцев», в основном из-за модулей памяти. Кроме того, система испытывает ограничения по техническому обслуживанию из-за неисправных быстроразъёмных соединений, вызывающих протечки воды. Таким образом, «учитывая затраты и время простоя, связанные с устранением проблем», дальнейшее использование комплекса признано нецелесообразным, в связи с чем он пущен с молотка.

Вместе с тем, как отмечает Tom's Hardware, новый владелец суперкомпьютера может реализовать его основные компоненты на вторичном рынке. Например, стоимость чипов Xeon E5-2697 v4 на eBay составляет около $50, а модулей DDR4-2400 ECC ёмкостью 64 Гбайт — примерно $65. То есть, по самым скромным подсчётам, только эти компоненты могут принести новому владельцу суперкомпьютера приблизительно $700 тыс. без учёта затрат на демонтаж и вывоз машины массой 43 т, а также на тестирование компонентов. Впрочем, массовый выброс на рынок CPU и RAM в таких объёмах приведёт к снижению цен.

Облачный гигант Amazon Web Services (AWS) приобрёл у Talen Energy Corporation кампус ЦОД, строящийся у атомной электростанции Susquehanna в Пенсильвании (США). По данным Datacenter Dynamics, ещё на минувшей неделе Talen объявила о продаже кампуса «крупному облачному провайдеру». В презентации для инвесторов было раскрыто, что речь идёт об AWS.

Кампус Cumulus Data площадью более 485 га впервые анонсировали ещё в 2021 году — он находится в непосредственной близости от принадлежащей Talen АЭС мощностью 2,5 ГВт. Компания начала строительство в 2021 году и завершила первый объект гиперскейл-уровня на 28,9 тыс. м² и 48 МВт в 2023 году. Параллельно возводилась отдельная ферма для криптомайнинга для компании TeraWulf, но она, похоже, не является частью сделки с Amazon.

Изображение: Cumulus Data

Площадка и активы Cumulus Data проданы за $650 млн — $350 млн выплачены сразу, ещё $300 млн будут выплачены после завершения этапов строительства, запланированных на 2024 год. Дополнительно предусмотрена и гарантированная продажа «безуглеродной» электроэнергии станции Susquehanna по фиксированной цене, которая может быть пересмотрена только через 10 лет. В Talen уже сообщили, что довольны сделкой, которая принесла выгода и обеспечила возврат инвестиций.

Источник: Talen Energy

Ожидается, что в конечном итоге ёмкость кампуса AWS достигнет 960 МВт. У компании есть обязательства по минимальному потреблению энергии, они будут увеличиваться в течение нескольких лет с шагом в 120 МВт. Впрочем, у AWS остаётся возможность единовременно ограничить обязательства лимитом в 480 МВт. В рамках сделки предусмотрены и другие договорённости. Например, Talen обязуется поставлять с АЭС электричество кампусу AWS в рамках PPA.

Электростанция Susquehanna Steam Electric мощностью 2,5 ГВт была сдана в эксплуатацию в 1983 году — это одна из крупнейших атомных станций в США. Теперь ей владеет Talen Energy, основанная в 2015 году. В 2020 году компания основала Cumulus Growth для инвестиций «на стыке цифровой инфраструктуры и энергетики», а также Cumulus Coin, занимающуюся майнингом криптовалют. В России с 2018 года действует дата-центр «Калининский», расположенный у одноимённой АЭС в Тверской области.

Медиакомпания X/Twitter получила налоговую льготу на сумму $10,1 млн за то, что согласилась разместить оборудование ЦОД в Атланте (Джорджия). Datacenter Dynamics сообщает, что бизнес Илона Маска (Elon Musk) пригрозил в противном случае отправить оборудование для ИИ-вычислений в Портленд (Орегон).

На прошлой неделе Управление по развитию округа Фултон (Development Authority of Fulton County) провело голосование, в результате которого подавляющим большинством голосов (шесть против двух) решено предоставить налоговые льготы сроком на 10 лет для проекта стоимостью $700 млн в Атланте. Предполагается дооснащение уже существующего объекта.

Фото: Kelly Sikkema / Unsplash

Инфраструктуру будут использовать для создания ИИ-продуктов X Platform. Например, больших языковых моделей (LLM) и инструментов семантического поиска. X заказала 10 тыс. ускорителей для этого проекта в апреле 2023 года, но в декабре местные власти отказали ей в налоговых льготах. X заявила о необходимости подобной «скидки», чтобы якобы не пришлось делать трудный выбор и размещать оборудование в Портленде (Орегон).

Несмотря на явный шантаж, в декабре X признала, что начнёт обновлять инфраструктуру независимо от того, предоставят ли местные власти льготу или нет. В январе представитель X признался, что большая часть ИИ-оборудования уже доставлена в ЦОД в Атланте, не считая одной партии стоимостью $200 млн. Тем не менее, он предупредил, что оставшееся «железо» могут направить в Портленд, если власти не пойдут навстречу.

X ссылается на то, что без льгот обслуживание инфраструктуры в Атланте будет на 21 % дороже, чем в Орегоне, а при их наличии стоимость в обоих штатах будет одинаковой. При этом проект не предусматривает создания новых рабочих мест, хотя и позволит сохранить 24 из уже существующих. Налоговые поступления в следующие 10 лет должны составить более $16 млн.

Фото: Taylor Vick / Unsplash

Пикантность ситуации в том, что у X практически не осталось собственных площадок. ЦОД в Атланте порядка десяти лет является одним из основных для компании. После прихода Маска компания покинула сначала один дата-центр в Сакраменто (Калифорния), а затем и второй, причём один из них в итоге достался Tesla. Суммарно компания высвободила 48 МВт, перенеся часть нагрузок в оставшиеся ЦОД. Ожидалось, что она сократит присутствие и в Атланте.

Компанию также обвиняли в иной форме «оптимизации» — неуплате счетов облачным провайдерам, включая Google, Oracle и Amazon. Маск требовал пересмотреть условия контрактов, но в результате X/Twitter столкнулась с техническими проблемами, вызвавшими сбои в работе сервисов. При этом компания по-прежнему во многом полагается на облака.

Американский регулятор присвоил высокий приоритет расследованию об использовании телеком-операторами США старых кабелей в свинцовой оболочке. Как сообщает The Wall Street Journal (WSJ), Агентство по охране окружающей среды (EPA) запросило встречу с участниками местного рынка телекоммуникационных услуг в связи с тем, что AT&T, Verizon и другие операторы до сих пор не избавились от кабелей, признанных небезопасным ещё в середине прошлого века.

В результате делом занялось EPA, которое выявило превышение уровня свинца выше максимально допустимого для безопасности детей в более чем сотне проб, взятых с мест расположения кабелей в свинцовых оболочках в трёх штатах. Агентство намерено взять дополнительные пробы в других местах. Ассоциация United States Telecom Association (USTelecom), представляющая интересы операторов США, сообщила, что Verizon сотрудничает с EPA. С аналогичным заявлением самостоятельно выступила и AT&T.

Источник изображения: NANDKUMAR PATEL / Unsplash

Операторы, в ведении которых находятся старые освинцованные кабели, заявили, что те не несут угрозы и вообще не являются основным источником загрязнения природы. Однако прошлогоднее расследование WSJ показало, что свинец из старых кабелей со временем попадает в окружающую среду — в воду, почву и воздух. Превышение норм было выявлено в самых разных концах страны. Пробы из окрестностей 130 кабелей были признаны токсичными сразу несколькими независимыми лабораториями. После этого вопросом заинтересовались американские сенаторы.

Журналисты заявили, что скрытыми источниками загрязнения являются более 2 тыс. старых магистралей, причём с проблемой не спешили бороться ни ответственные за них компании, ни природоохранные ведомства. Хотя телеком-операторы не применяют кабели в свинцовой оболочке с 1960-х годов, старые магистрали, как правило, остаются там же, где их когда-то проложили, даже если по соседству с ними проведены оптоволоконные линии. По некоторым оценкам, утилизация или нейтрализация токсичных кабелей обойдётся операторам в $60 млрд.

Регуляторы США, отвечающие за вопросы здравоохранения и защиты окружающей среды, подчёркивают, что загрязнение свинцом может подрывать здоровье людей — металл влияет на почки, сердце, репродуктивные способности и психическое развитие, причём «безопасной» дозы фактически не существует, особенно для детей. Свинец может довольно долго оставаться в кровотоке и десятилетиями накапливаться во внутренних органах и костях.