Как известно, Google Cloud использует в своей инфраструктуре не только сторонние ускорители, но и TPU собственной разработки. Эти кастомные ASIC компания продолжает активно развивать — она анонсировала предварительную доступность виртуальных машин с новейшими TPU v5e, разработка которых заняла более двух лет. Сам чип TPU v5e позиционируется Google как эффективный со всех точек зрения ускоритель, предназначенный для обучения нейросетей или инференс-систем среднего и большого классов.

В сравнении с TPU v4 он, по словам Google, обеспечивает вдвое более высокую производительность в пересчёте на доллар для обучения больших языковых моделей (LLM) и генеративных нейросетей. Для инференс-систем преимущество по тому же критерию составляет 2,5x. В сравнении с аналогичными решениями на базе других чипов, например, GPU, выигрыш может составить и 4x. Каждый чип TPU v5e включает четыре блока матричных вычислений, по одному блоку для скалярных и векторных расчётов, а также HBM2-память.

Источник изображения: Google

Компания отмечает, что не экономит на технических характеристиках TPU v5e в угоду рентабельности. Кластеры могут включать до 256 чипов TPU v5e, объединённых высокоскоростным интерконнектом с совокупной пропускной способностью более 400 Тбит/с. Производительность такой платформы составляет 100 Попс (Петаопс) в INT8-вычислениях. Правда, здесь есть нюанс: INT8-производительности TPU v5e составляет 393 Тфлопс против 275 Тфлопс у v4, но вот BF16-производительность у TPU v4 составляет те же 275 Тфлопс, тогда как у v5e этот показатель равен уже 197 Тфлопс.

Источник изображения: Google

В настоящее время для предварительного тестирования доступно уже восемь вариантов инстансов на базе v5e, а в зависимости от конфигурации количество TPU может составлять от 1 до более чем 250. В рамках платформы обеспечена полная интеграция с Google Kubernetes Engine, собственной платформой Vertex AI, а также с большинством современных фреймворков, включая PyTorch, TensorFlow и JAX. Работа с TPU v5e будет значительно дешевле, чем с TPU v4 — $1,2/час против $3,4/час (за чип).

Источник изображения: Google

В настоящее время машины с TPU v5e доступны только в североамериканском регионе (us-west4), но в дальнейшем возможность их использования появится в регионах EMEA (Нидерланды) и APAC (Сингапур). Также Google предлагает опробовать технологию Multislice, позволяющей объединять в единый комплекс десятки тысяч TPU v5e или TPU v4, где каждый «слайс» может содержать до 3072 чипов TPU (v4). В максимальной конфигурации можно развернуть 64 инстанса, работающих с 256 кластерами TPU v5e. Сама компания уже использует новые чипы для своего поисковика и Google Photos.

Компания Amazon намерена расширять инфраструктуры «ответственного использования» электроники, применяемой в центрах обработки данных. Как сообщает портал компании, её дочернее предприятие re:Cycle Reverse Logistics откроет в Пенсильвании (США) фабрику по оценке, ремонту и переработке электронных отходов. Объект площадью 51 тыс. м2 заработает в апреле 2024 года. Ожидается, что в переработке оборудования будут заняты от 300 до 500 человек.

Само здание фабрики в некотором роде тоже относится к объектам, «бывшим в употреблении» — в компании приняли решение использовать пустующее промышленное здание для создания собственного центра переработки отходов и ремонта той электроники, которая может быть восстановлена. По данным СМИ, Пенсильванию выбрали из-за близости к объектам Amazon на восточном побережье США. А конкретное здание — потому, что оно уже зонировано для промышленных целей, поэтому бюрократические процедуры серьёзно упрощаются.

Источник изображения: Amazon

Программа работы со списанным оборудованием состоит из восьми этапов:

1. Отправка стоек в специальные хабы, где стираются данные, хранящиеся на списанных серверах;
2. Отправка стоек и другие компонентов в центры переработки для оценки и ремонта оборудования в случаях, когда это возможно;
3. Разбор стоек на индивидуальные компоненты;
4. Отправка компонентов в лаборатории для тестирования, поиска физических дефектов и мелкого ремонта;
5. Оценка общей работоспособности оборудования при нагрузках;
6. Оценка модулей AWS Nitro Card;
7. Сбор статистики для отправки инженерным командам, которые могут использовать информацию для улучшения будущих ЦОД;
8. Отправка работоспособных компонентов на склады для повторного использования в будущем, прочие же компоненты отправляются на переработку.

Источник изображения: Amazon

Так называемая «обратная логистика» — это весьма распространённая практика разборки изношенного оборудования для восстановления тех комплектующих, которые ещё можно использовать, и добычи из оставшегося мусора ценного сырья. Известно, что у Amazon уже имеются соответствующие хабы, а теперь компания намерена прибегать к подобной практике более широко. Аналогичные проекты есть у Microsoft. Кроме того, б/у-оборудование гиперскейлеров нередко перепродаётся, а сами они увеличивают сроки эксплуатации «железа».

Компания Verizon попала в поле зрение американской судебной системы и, возможно, в ближайшем времени её ждут убытки и репутационный ущерб, что отразится на акционерах. Как сообщает DataCenter Dynamics, против неё поданы коллективные иски юридическими фирмами Gross Law Firm и Levi & Korsinsky от лица акционеров. То же самое сделано и в отношении AT&T.

Ещё в июле в СМИ появились данные о том, что телеком-операторы владеют на территории США разветвлённой инфраструктурой из кабелей в токсичных свинцовых оболочках, отравляющих почву, воздух и воду. В некоторых случаях они уже давно не используются, но ответственные за них операторы не принимают мер по их утилизации и нейтрализации загрязнений. Всего речь может идти о более 2 тыс. кабелей на территории США — их перестали внедрять десятилетия назад, но они до сих пор отравляют окружающую среду. В Gross Law Firm утверждают, что в Verizon знали об ущербе и рисках различного характера, но предпочти не сообщать о них.

Источник изображения: Aletra ekaye / Unsplash

Иски поданы в федеральный суд в западной Пенсильвании, обе компании призывают акционеров телеком-оператора Verizon присоединиться в качестве истцов. Как сообщают в Gross Law Firm, инвесторы могут стать со-истцами, если покупали акции компании между октябрём 2018-го и 26 июля 2023-го. Утверждается, что в указанный период оператор публиковал ложные или вводящие в заблуждение заявления и/или не раскрывал факт того, что Verizon владеет в стране многочисленными токсичными кабелями, которые наносили вред не только посторонним людям, но и, вероятно, сотрудникам самой компании.

Gross Law Firm и Levi & Korsisnsky также подали аналогичные иски к AT&T от имени акционеров этого телеком-гиганта. Утверждается, что прежние заявления ответчика о его бизнесе, деятельности и перспективах были ложными. Оба ответчика пытаются успокоить акционеров, а в AT&T и вовсе заявили, что кабели старого типа обеспечивают работу важных служб, включая экстренные. В Verizon утверждают, что варианты в свинцовых оболочках составляют лишь незначительную часть медной кабельной сети. По некоторым оценкам, утилизация или нейтрализация токсичных кабелей обойдётся в $60 млрд, большая часть расходов придётся на AT&T.

Корпорация IBM анонсировала ленточный привод TS1170, предназначенный для применения в системах архивирования данных большой ёмкости. Решение обеспечивает высокий уровень безопасности благодаря возможности использования «воздушного зазора» (air gap) и шифрования AES-256.

Задействованы картриджи JF вместимостью 50 Тбайт. С учётом компрессии 3:1 такие носители способны хранить до 150 Тбайт информации. Для сравнения: ленточные картриджи LTO-9 имеют «чистую» ёмкость в 18 Тбайт и эффективную ёмкость в 45 Тбайт со сжатием данных.

Источник изображения: IBM

Поверхность ленты в картриджах JF покрыта частицами феррита стронция, что позволило повысить плотность хранения информации. Ранее IBM и Fujifilm демонстрировали ленточный накопитель вместимостью 580 Тбайт, выполненный по указанной технологии. Таким образом, в перспективе на коммерческом рынке появятся гораздо более ёмкие картриджи.

Привод TS1170 поддерживает интерфейсы SAS-3 и FC16. Заявленная скорость передачи данных достигает 400 Мбайт/с. Габариты составляют 93 × 186 × 467 мм, вес — 5,57 кг. Диапазон рабочих температур — от +16 до +25 °C.

Около года назад участники консорциума LTO — компании HPE, IBM и Quantum — обнародовали план развития стандарта ленточных накопителей LTO Ultrium. С появлением LTO-10 ёмкость картриджа вырастет до 36 Тбайт, а объём хранимых в сжатом виде данных — до 90 Тбайт. Картриджи 14-го поколения обеспечат объём до 576 Тбайт и 1,44 Пбайт соответственно.

NVIDIA и VMware объявили о расширении стратегического партнёрства, нацеленного на развитие систем ИИ. Компании анонсировали платформу VMware Private AI Foundation — полнофункциональное решение, которое позволит заказчикам быстро развёртывать различные приложения на базе генеративного ИИ.

Новая платформа представляет собой полностью интегрированный продукт на базе VMware Cloud Foundation, включающий стек ПО для генеративного ИИ и вычислительные ресурсы на базе ускорителей NVIDIA. VMware Private AI Foundation будет поддерживаться Dell Technologies, Hewlett Packard Enterprise (НРЕ) и Lenovo, которые одними из первых предложат готовые ИИ-комплексы. Такие системы будут включать ускорители NVIDIA L40S, DPU BlueField-3 и адаптеры ConnectX-7 SmartNIC .

Изображение: NVIDIA

Предполагается, что благодаря новому совместному решению NVIDIA и VMware сотни тысяч клиентов в сферах финансовых услуг, здравоохранения, производства и других отраслях получат комплексную платформу, позволяющую раскрыть потенциал генеративного ИИ с использованием их собственных данных. В числе ожидаемых преимуществ для заказчиков называются:

• Конфиденциальность — клиенты смогут запускать ИИ-службы с обеспечением безопасного доступа и защитой данных;
• Выбор — заказчики смогут выбирать различные схемы работы с ИИ, воспользовавшись OEM-конфигурациями, публичными облаками или услугами сервис-провайдеров;
• Производительность — инфраструктура NVIDIA обеспечит быстродействие, сопоставимое или даже превосходящее с таковым у решений bare metal;
• Масштабируемость — использование до 16 v(GPU) в рамках одной виртуальной машины;
• Снижение затрат — платформа максимизирует использование вычислительных ресурсов для сокращения расходов и повышения эффективности;
• Быстрое хранилище данных — архитектура VMware vSAN Express предоставит производительную NVMe-подсистему и поддержку GPUDirect с RDMA, что позволит хранилищам и ускорятелям обмениваться данными напрямую и без участия CPU;
• Быстрая сеть — глубокая интеграция между vSphere и NVIDIA NVSwitch позволит моделям, задействующим несколько ускорителей, работать без задержек;
• Быстрое развёртывание и малое время окупаемости — готовые ВМ-образы vSphere Deep Learning обеспечат возможности быстрого прототипирования;
• Доступ к стеку NVIDIA AI Enterprise и его компонентам, а также к NVIDIA AI Workbench и иным инструментам, которые помогут ускорить разработку, внедрение и сопровождение ИИ-моделей на предприятиях.

Как сообщает портал SCN, провайдер Move Up Internet (MUI) объявил о намерении предоставлять гигабитный интернет-доступ в австралийском регионе Саншайн-Кост (Квинсленд) — для этого будут применяться сети на базе технологии Meta✴ Terragraph. Доступ будет предоставляться как корпоративным клиентам, так и физическим лицам.

Сама MUI является подразделением Graph Networks, специализирующейся на беспроводных решениях. Terragraph подходит для труднодоступных мест, куда прокладка кабелей обойдётся слишком дорого или будет вовсе невозможной. Применяется 60-ГГц (mmWave) радиочастотный спектр и стандарт WiGig. Для эффективной связи терминалы должны располагаться друг от друга на расстоянии 200–250 м. Весной этого года Meta✴ передала наработки проекту LF Connectivity (Linux Foundation).

Фото: MOVE UP Internet

MUI намерена применить технологию для покрытия связью юго-востока Квинсленда. Graph Networks разработала SDN-архитектуру, обеспечивающую быстрое внедрение в офисных и многоквартирных зданиях и отдельных домах. Аналогичный сервис уже работает в Брисбене. MUI также недавно подключила свою Terragraph-сеть к посадочной станции подводного интернет-кабеля JGA-S.

Корпорация Microsoft, по сообщениям ресурсов Datacenter Dynamics и Motley Fool, создаёт специализированный инструментарий, который позволит автоматически планировать выполнение рабочих нагрузок в ЦОД в зависимости от их срочности и воздействия на окружающую среду.

Идея заключается в том, чтобы выполнять определённые задачи в определённое время, что позволит минимизировать выбросы вредных газов в атмосферу. Например, те ресурсоёмкие задачи, выполнение которых не является срочным, могут быть отложены до момента, когда станет доступно необходимое количество энергии из возобновляемых источников.

Источник изображения: Microsoft

Microsoft патентует систему управления поведением оборудованием, «ориентированную на устойчивое развитие». Данный комплекс учитывает состояние энергосистемы в целом, а также другие факторы. На начальном этапе собирается информация о текущей нагрузке на сеть, о погодных условиях и температурах и т.д. После этого специальные алгоритмы делают прогноз использования ресурсов и распределяют выполнение задач так, чтобы они оказало «сравнительно меньшее воздействие на окружающую среду».

По заявлениям Microsoft, подобный подход позволит снизить нагрузку на энергосеть в часы-пик, а также увеличить срок службы оборудования. Кроме того, станет возможным более эффективное использование «зелёной» энергии. В частности, Microsoft может использовать систему для приостановки и возобновления некоторых операций в ЦОД для балансировки энергопотребления.

Нужно отметить, что Google ещё два года назад начала динамически и прозрачно для конечных потребителей перемещать нагрузки между различными дата-центрами, опираясь на уровень доступности для них «зелёной» энергии. При этом речь идёт только о задачах, для которых не критичны задержки или требования о суверенитете данных. Для этого Google составляет прогнозы доступности энергии на день вперёд.

Подразделение Brocade Storage Networking компании Broadcom представило новые коммутаторы класса Director, предлагающие до 512 портов FC64. Предельная пропускная способность заявлена на уровне 39,6 Тбайт/с. При этом сохранена совместимость с предыдущими поколениями Fibre Channel. Кроме того, был представлен и новый мост Ethernet ↔ Fibre Channel, который позволяет создавать распределённые SAN.

Новые устройства серии Brocade X7 Directors являются наиболее высокоплотными в индустрии — они представлены в вариантах с 256 и 512 портами Fibre Channel седьмого поколения (64 Гбит/с на порт) в исполнениях 8U и 14U соответственно. Первое поколение X7 увидело свет ещё в 2020 году, но тогда оно было ограничено использованием 48-портовых лезвий FC64, что давало максимум 384 порта. Новый вариант использует новые 64-портовые модули с трансиверами SFP-DD, позволившими на треть поднять плотность портов. Устройства работают под управлением Fabric OS 9.0.x.

Источник изображений здесь и далее: Broadcom

Другой интересной новинкой Brocade является коммутатор Brocade 7850 Extension Switch, делающий более простым построение географически распределённой SAN. По сути, это мост с 24 портами FC64/FICON, обеспечивающий проброс FC-трафика, для чего имеется 16 портов 25/10GbE, а также два WAN-порта 100GbE. WAN-трафик шифруется на лету на полной скорости по алгоритму AES с 256-битным ключом. Имеются механизмы защиты от кибер-атак, а также автоматическая проверка целостности ПО и аппаратного обеспечения.

На накопители приходится значительная доля углеродных выбросов и энергозатрат IT-индустрии. Как сообщает портал IEEE Spectrum, эксперты уверены — в обозримом будущем обеспечить экологическую безопасность и экономическую эффективность хранения можно с помощью технологии хранения информации на магнитных лентах.

По данным экспертов, в 2019 году 60 % всех данных были «холодными», т.е. редко востребованными, но всё ещё очень важными. Полный переход на ленточные накопители (LTO) для таких данных позволит снизить не только выбросы CO₂, но и улучшить экономические показатели. По некоторым оценкам, при переходе на LTO мировые выбросы углекислого газа, связанные с накопителями, снизятся на 58 % или на 79 млн т.

Источник изображения: Brad Johns Consulting

Потребность в накопителях только растёт, и уже в 2025 году, по данным IDC, придётся хранить 17 Збайт данных. Как выяснили IDC совместно с Seagate, в 2021 году 62 % данных хранились на HDD, 9 % на SSD и 15 % — на LTO. Хотя HDD объективно удобнее и значительно быстрее LTO, средний срок эксплуатации жёстких дисков составляет всего 5 лет, в течение которых генерируется эквивалент 2,55 кг CO₂ на 1 Тбайт ежегодно. Для ленточных хранилищ этот показатель составляет всего 0,07 кг/год.

При переходе на LTO снизятся и объёмы электронных отходов. Если HDD в среднем работают 5 лет, то ленточные накопители — 10; поэтому их придётся менять вдвое реже. Например, если ЦОД хранит 100 Пбайт данных в течение 10 лет, то использование HDD приведёт к появлению 7,4 т электронных отходов. Если 60 % информации перенести на ленты, отходов станет меньше на 51 % — 3,6 т. Таким образом, по ряду параметров ленточные накопители будут предпочтительнее HDD ещё минимум десятилетие.

Источник изображения: Brad Johns Consulting

Финансовая выгода такого подхода тоже очевидна. По оценкам Fujifilm, хранение 100 Пбайт обойдётся в $17 707 468, тогда как при переносе 60 % данных на ленты стоимость хранения снизится до $9 476 339. И если крупные операторы активно закупают LTO, то для многих других верная оценка того, какие именно данные являются «холодными», является непростой и дорогой задачей — это одна из причин медленного отказа от HDD в пользу ленточных решений в малых ЦОД.

Тем не менее, будущее ленточных накопителей остаётся под вопросом. Хотя у них пока имеется конкурентное преимущество перед жёсткими дисками, уже ведутся разработки накопителей нового типа. Впрочем, технологии LTO тоже не стоят на месте. Так, в начале года Western Digital предложила новый тип накопителей — высокоинтегрированный LTO-картридж в корпусе HDD.

На конференции Flash Memory Summit южнокорейская компания Panmnesia продемонстрировала свою версию CXL-пула DRAM объёмом 6 Тбайт на базе программно-аппаратного стека собственной разработки. Новинка продемонстрировала более чем троекратное превосходство над системой, построенной на базе технологии RDMA, в нагрузках, связанной с работой рекомендательной ИИ-системы Meta✴.

Panmnesia разработана в сотрудничестве с Корейским инститом передовых технологий (KAIST). О более раннем варианте разработок KAIST в этой области мы рассказывали в 2022 году. Коммерческий вариант комплекса поддерживает CXL 3.0 и состоит из CXL-процессора, коммутатора и модулей расширения памяти. Все модули выполнены в форм-факторе, чрезвычайно напоминающем FHFL-карты. Модули устанавливаются в универсальное шасси, при этом их можно произвольно комбинировать.

Источник изображений здесь и далее: Panmnesia

Демо-платформа содержала два процессорных модуля, три модуля коммутации и шесть 1-Тбайт модулей памяти. Модули памяти построены на базе обыкновенных DIMM-планок и поддерживают их замену и расширение. Реализован не только режима CXL.mem, но и CXL.cache и CXL.io. При этом компания предлагает не только готовые IP-решения, но и их кастомизацию под конкретного заказчика, что поможет оптимизировать цикл создания продукта и снизить общую стоимость разработки и валидации.

Фирменное ПО базируется на Linux и содержит необходимые драйверы, а также специализированную виртуальную машину, с помощью которой пространство памяти представляется в виде безпроцессорного NUMA-узла. Поверх этих компонентов функционирует пользовательская часть, отвечающая за эффективное размещение и предвыборку (prefetching) данных.

По ряду параметров Panmnesia можно назвать лидером в области CXL-решений. В частности, по объёму DRAM она уже обгоняет совместное решение Samsung, MemVerge, H3 и XConn, а использование DIMM-модулей только придаёт ей гибкости. Развитая программная часть, как утверждается, упрощает и удешевляет интеграцию в существующую инфраструктуру ЦОД.

Спектр применения, как и у всех систем CXL-пулинга, крайне широкий и включает в себя не только ИИ-сценарии, но и любые задачи, требующие большого объёма оперативной памяти.