Компания Samsung анонсировала решение под названием CXL Memory Module — Box (CMM-B): это массив модулей памяти CXL, предназначенный для монтажа в стойку. Новинка совместима с решениями Supermicro Plug and Play.

В состав CMM-B входят восемь пулов CXL-памяти на базе модулей E3.S CMM-D (PCIe 5.0) ёмкостью 2 Тбайт каждый. Таким образом, суммарный объём достигает 16 Тбайт. В составе стойки доступ к этому массиву могут получать три сервера Supermicro. Такая архитектура позволяет выделять необходимый объём памяти в соответствии с текущими нагрузками, устраняя узкие места в вычислительных системах. Через консоль SCMC (Samsung Cognos Management Console) можно отслеживать распределение памяти.

Источник изображений: Samsung

Устройство CMM-B выполнено в формате 4U. Заявлена совместимость со стандартами CXL 1.1/2.0. Пропускная способность достигает 60 Гбайт/с, тогда как задержка находится на уровне 596 нс. С точки зрения «чистой» производительности один модуль CMM-B работает медленнее, чем двухканальная подсистема оперативной памяти DDR5-4800. Тем не менее, устройство значительно быстрее, чем даже наиболее передовые SSD.

Представленная стоечная система разработана в тесном сотрудничестве с Supermicro. В состав решения, помимо CMM-B и трёх серверов, входит PCIe-коммутатор. Система предназначена для приложений, которым требуется большой объём памяти, таких как ИИ, анализ массивов информации и in-memory базы данных. CMM-B позволяет динамически выделять необходимую память системе, когда она необходима ей. Благодаря этому повышается гибкость использования инфраструктуры и снижаются энергетические затраты, говорят создатели.

Стартап Groq, создавший ускоритель LPU на базе собственного массивно-параллельного тензорного процессора TSP, больше не продаёт оборудование, предлагая вместо этого воспользоваться его облачными ИИ-сервисами или стать партнёром в создании ЦОД. Об этом генеральный директор Groq Джонатан Росс (Jonathan Ross) сообщил ресурсу EE Times.

Он пояснил, что для стартапа заниматься продажами чипов слишком сложно, потому что «минимальная сумма покупки, чтобы это имело смысл, высока, затраты высоки, и никто не хочет рисковать, покупая большое количество оборудования — неважно, насколько оно потрясающее». По его словам, в облаке GroqCloud для инференса больших языковых моделей (LLM) в реальном времени уже зарегистрировано 70 тыс. разработчиков и запущено более 19 тыс. новых приложений.

Источник изображений: Groq

В случае поступления заказов на поставку больших объёмов чипов для очень крупных систем Groq вместо продажи предлагает партнёрство по развёртыванию ЦОД. Groq подписала соглашение с саудовской государственной нефтяной компанией Aramco, которое предполагает масштабное развёртывание LPU. Похожее соглашение в ОАЭ подписала Cerebras, ещё один молодой разработчик ИИ-ускорителей. «Правительство США и его союзники — единственные, кому мы готовы продавать оборудование, — говорит Росс. — Для всех остальных мы лишь (совместно) создаём коммерческие облака».

По его словам, в этом году Groq планирует разместить 42 тыс. LPU в GroqCloud, при этом Aramco и другие партнёры «завершают» свои сделки по получению такого же количества чипов. Компания способна выпустить 220 тыс. LPU только в этом году, а общий объём производства на ближайшее время составляет 1,5 млн ускорителей. Около 1 млн из них всё ещё не зарезверированы, но это количество быстро сокращается. Росс пообещал, что к концу 2025 году компания развернёт столько LPU, что их вычислительная мощность будет эквивалентна ИИ-мощностям всех гиперскейлерам вместе взятых.

Росс с оптимизмом смотрит на перспективы Groq, поскольку чипы TSP не используют память HBM, на которую полагаются решения конкурентов, включая NVIDIA, и поставки которой расписаны до конца 2024 года. Что касается LPU следующего поколения, то компания планирует сразу перейти с 14-нм техпроцесса (Global Foundries) на 4-нм. По словам Росса, новый чип будет оптимизирован для генеративного ИИ, но у него в силу универсальности архитектуры не будет каких-то специальных функций для обработки LLM. Будет ли новый ускоритель всё так же изготавливаться на территории США, не уточняется.

Groq, похоже, достаточно уверена в своих чипах, которые в бенчмарках действительно обгоняют конкурентов. После анонса архитектуры NVIDIA Blackwell, обеспечивающей кратное увеличение производительности в задачах генеративного ИИ, компания выпустил в ответ пресс-релиз из одного предложения: «Groq всё ещё быстрее». А чуть позже даже раскритиковала NVIDIA.

Equinix заключила предварительное соглашение с создателем малых модульных реакторов (SMR) Oklo, поддерживаемым главой OpenAI Сэмом Альтманом (Sam Altman). По данным Datacenter Dynamics, это первый договор, подписанный оператором, предусматривающий использование SMR. В заявлении по форме S4, поданном AltC Acquisition Corp в Комиссию по ценным бумагам и биржам США (SEC), раскрываются некоторые детали сделки.

В частности, Equinix внесла в качестве предоплаты $25 млн. Считается, что в данном случае речь идёт о финансировании акционерного капитала — Equinix получает возможность купить долю в 1,5-1,9 % в бизнесе Oklo. Сейчас разработчик реакторов находится в стадии обратного слияния со SPAC-компанией AltC Acquisition, намеренной вывести специалистов по атомной энергетике на IPO в июле 2024 года. Вместо акций Equinix также может получить дисконт на приобретение энергии.

Источник изображения: Oklo

Модульные реакторы Oklo на быстрых нейтронах способны генерировать до 15 МВт каждый и работать до 10 лет без перезарядки. Equinix будет получать энергию от SMR Oklo в США в течение 20 лет. Конкретные объёмы будут оговариваться в будущих соглашениях о покупке энергии (PPA), а в будущем Equinix сможет обновить и расширить PPA ещё на 20 лет. Оператор ЦОД также получил право преимущественной покупки энергии, вырабатываемой определёнными реакторами, сроком на 36 месяцев — выкупаемая мощность составит 100–500 МВт.

SMR, разрабатываемые также NuScale, Rolls-Royce и другими компаниями, предлагаются в качестве источника «низкоуглеродного» экобезопасного питания для ЦОД — это позволит дата-центрам работать без подключения к магистральным электросетям. В прошлом году Standard Power анонсировала планы приобрести 24 SMR у NuScale, хотя позже его назвали фейковым.

Компании Oracle и Palantir объявили о заключении партнёрского соглашения, в рамках которого планируется развитие безопасных облачных сервисов и ИИ-систем для государственных организаций и корпоративных заказчиков по всему миру. Предполагается, что совместное предложение поможет клиентам максимизировать ценность своих данных и повысить эффективность работы.

В рамках соглашения распределённое облако и ИИ-инфраструктура Oracle будут использоваться в сочетании с платформами ИИ и ускорения принятия решений Palantir. Вместе с тем Palantir перенесёт рабочие нагрузки своей платформы Foundry в Oracle Cloud Infrastructure (OCI). Отмечается, что Foundry позволяет переосмыслить то, как используются данные, а также устраняет барьеры между внутренним управлением и внешним анализом информации.

По условиям подписанного договора, Palantir обеспечит возможность развёртывания своих систем Gotham и Artificial Intelligence (AI) в распределённом облаке Oracle. Речь идёт о публичных и выделенных регионах Oracle Cloud, европейском суверенном облаке Oracle EU Sovereign Cloud, инфраструктурной платформе Oracle Alloy, гособлаке Oracle Government Cloud, инфраструктуре Oracle Roving Edge, а также изолированных регионах Oracle для оборонных заказчиков и спецслужб.

Источник изображения: Oracle

Платформа Palantir AI, как отмечается, позволяет организациям использовать возможности больших языковых моделей (LLM) в своих корпоративных сетях и интегрировать ИИ в основные операции с максимальной безопасностью. Решение предназначено для объединения разрозненных источников данных, логических активов и прочих ресурсов в единую операционную среду.

В целом, как утверждается, партнёрство Oracle и Palantir позволит организациям использовать облачные сервисы и системы ИИ с соблюдением стандартов суверенитета и безопасности. Стороны намерены совместно предоставлять и поддерживать широкий спектр услуг.

ГК Softline, по информации CNews, раскрыла подробности сделки по приобретению 50,1 % доли в ГК «Борлас», которая в числе прочего занимается внедрением решений на базе «1С», а также предоставлением услуг по управленческому и IT-консалтингу.

О завершении указанной сделки Softline объявила в июле 2023 года. Тогда говорилось, что партнёрство позволит сторонам расширить спектр решений на рынке, увеличить круг клиентов и укрепить финансовое положение. Кроме того, для Softline это означает новый виток развития в наращивании сервисной экспертизы.

Источник изображения: Softline

Как теперь стало известно, доля в ГК «Борлас» обошлась Softline приблизительно в 1,62 млрд руб. При этом вся «Борлас» получила оценку на уровне 3 млрд руб. В результате сделки Softline через «Борлас АС» получила контроль над ООО «Борлас», ООО «Борлас Секьюрити Системз», ООО «Группа Борлас» и ООО «Борлас Инженерно технический центр». По условиям соглашения, Softline также получила возможность в дальнейшем приобрести долю в размере 44,9 % в «Борлас» у основателя этой компании Алексея Ананьина.

Ещё 5 % в «Борлас» принадлежат Дмитрию Кичко, основателю компании «Эдит Про», которая специализируется на внедрении решений на базе «1С». Отмечается, что «Борлас» является владельцем 75,1 % в «Эдит Про», а также такой же доли в другой созданной Дмитрием Кичко компании — «Центр цифровой трансформации» (ЦЦТ). Softline через «Борлас косвенно владеет 37,6 % в «Эдит Про» и ЦЦТ и обладает опционами на выкуп 33,7 % в данных компаниях.

Стартап SiMa.ai, разрабатывающий аппаратные и программные решения для обработки ИИ-задач на периферии, объявил о проведении раунда финансирования на сумму в $70 млн. Таким образом, в общей сложности компания привлекла на развитие $270 млн.

Ключевым продуктом SiMa.ai является изделие Machine Learning System-on-Chip (MLSoC). Оно специально спроектировано с прицелом на периферийные ИИ-приложения. Это могут быть роботы, дроны, системы машинного зрения, автомобильные платформы, медицинское оборудование и пр.

В состав MLSoC входит ряд блоков. Это, в частности, ИИ-ускоритель с 25 Мбайт интегрированной памяти, обеспечивающий производительность до 50 TOPS (INT8) или 10 TOPS/Вт. Он дополнен процессором приложений на базе четырёх вычислительных ядер Arm Cortex-A65 с частотой 1,15 ГГц. Присутствует четырёхъядерный узел компьютерного зрения Synopsys ARC EV74. Изделие также несёт на борту блоки (де-)кодирования видео в формате H.264. Реализована поддержка четырёх портов 1GbE, интерфейсов PCIe 4.0 х8, SPIO, I2C и GPIO.

Источник изображения: SiMa.ai

Чип MLSoC доступен в составе платы для разработчиков. Компания также предоставляет специализированный набор инструментов под названием Pallet, упрощающий создание ПО для чипа. Этот комплект включает, в частности, компилятор, который преобразует модели ИИ в формат, оптимизированный для работы в системах на основе MLSoC.

Сообщается, что раунд финансирования на $70 млн проведён под руководством Maverick Capital. В нём также приняли участие Point72, Jericho, Amplify Partners, Dell Technologies Capital, предприниматель Лип-Бу Тан (Lip-Bu Tan) и др. Полученные средства пойдут на разработку 6-нм чипа MLSoC второго поколения, который будет выпущен на TSMC в I квартале 2025 года. Известно, что это решение объединит CPU на базе Arm Cortex-A и модуль компьютерного зрения Synopsys EV74.

Компании Accelsius и OptiCool объявили о стратегическом партнёрстве, целью которого является создание инновационных СЖО для дата-центров. Предполагается, что внедрение таких систем поможет повысить энергоэффективность ЦОД, ориентированных на ресурсоёмкие задачи ИИ.

Accelsius является разработчиком двухфазных систем NeuCool, которые используют технологию прямого жидкостного охлаждения Direct-To-Chip (DTC). В свою очередь, OptiCool занимается поставками решений для отвода тепла. Стороны намерены использовать в своих системах диэлектрическую жидкость.

Источник изображения: Opticool

Отмечается, что исторически в однофазных СЖО использовалась вода. Вместе с тем Accelsius и OptiCool отмечают «значительный рост интереса клиентов» к инфраструктурам охлаждения, которые не требуют применения воды в первичном контуре. Такой подход исключает любое потенциальное повреждение серверов и IT-оборудования в результате утечек. Для дата-центров, ориентированных на задачи ИИ и НРС, это означает «защиту инвестиций на миллионы долларов», говорят компании.

Источник изображения: Opticool

Партнёры намерены предлагать клиентам двухфазные СЖО типа DTC с активным отводом тепла через заднюю дверцу. Эти системы будут адаптироваться под потребности заказчиков, одновременно исключая риск повреждения оборудования водой. Отмечается, что в системах OptiCool используется R134a — нетоксичный синтетический хладагент.

«Это сотрудничество имеет большое значение для индустрии ЦОД, поскольку нацелено на удовлетворение растущего спроса на эффективные и устойчивые решения. Объединив наш опыт, мы можем создать комплексную систему охлаждения, отвечающую меняющимся потребностям рынка», — говорит генеральный директор OptiCool.

Частота и серьёзность сбоев в ЦОД постепенно снижается относительно общей ёмкости объектов. Тем не менее, сообщает The Register, нарушения работы могут очень дорого обойтись операторам и их клиентам, а проблемы с электропитанием ведут к особенно серьёзным последствиям.

Ёмкость дата-центров постоянно увеличивается, так что общее количество инцидентов тоже растёт, но по данным Uptime Institute, частота и тяжесть происшествий увеличивается относительно медленными темпами. И хотя их стало больше в абсолютном значении, темпы прироста заметно упали в последние годы. На то имеется ряд причин, включая тот факт, что многие организации стали интенсивно вкладываться в обеспечение надёжности работы оборудования. Среди других причин называются переход клиентов в облака и внедрение новых технологий для соответствия требованиям регуляторов.

Источник изображения: Uptime Institute

Однако Uptime Institute предупреждает, что данные о перебоях могут оказаться не вполне точными, потому что операторы зачастую не желают раскрывать информацию об инцидентах из-за возможного репутационного ущерба, так что сведения приходится собирать из открытых источников. В докладе Annual Outage Analysis 2024 констатируется, что 55 % опрошенных представителей операторов подтвердили, что в последние три года в их ЦОД были перебои. С другой стороны, годом ранее речь шла о 60 %, а в 2021 году — о 69 %. В то же время только 10 % сбоев за последний год оценили как «серьёзные» или «тяжёлые», тогда как двумя годами ранее таковых было на 14 п.п. больше.

54 % респондентов отметили, что самые значимые происшествия в их компаниях обошлись более чем $100 тыс., а 16 % — более $1 млн. Главной причиной называлась проблема с системой распределения энергии на местах, в докладе эта тема отмечается в 52 % инцидентов. Исследователи говорят, что переход на более «динамичные» электросети с возобновляемыми источниками энергии сделал сети питания менее надёжными. При этом в ряде случаев ИБП/генераторы не смогли корректно отреагировать на отказ сети. Например, ровно это вызвало перебои с сервисами Microsoft Azure в Европе в 2023 году.

Источник изображения: Uptime Institute

Вторая из ключевых причин сбоев — поломка или недостаточная производительность охлаждающего оборудования. Эксперты отметили, что количество проблем со сторонними сервисами выросло с 2020 года вдвое — на них приходится порядка 10 % сбоев в 2023 году. Это связано с ростром популярности облачных сервисов, в том числе SaaS, услуг хостинга и колокации.

Во многих случаях играют роль человеческие ошибки — на них приходится от ⅔ до ⅘ всех инцидентов. Виной некорректное соблюдение процедур по обслуживанию оборудования или некорректность самих процедур. Например, в прошлом году на Нью-йоркской фондовой бирже (NYSE) сотрудник не смог корректно восстановить работу систем после сбоя во вспомогательном ЦОД, что привело к неверному ценообразованию на следующий день. Предполагается, что количество сбоев можно будет уменьшить благодаря более интенсивным тренировкам персонала и аудиту вероятных слабых мест.

Источник изображения: Uptime Institute

По данным Uptime Institute, каждый год случается 10–20 крупных отказов оборудования ЦОД в мире, что ведёт к серьёзным финансовым потерям и перебоям в обслуживании клиентов, а во многих случаях и к репутационным издержкам. В любом случае недавно в Uptime Institute сообщали, что в ближайшие годы затраты на строительство и обслуживание дата-центров будут только расти.

Компания Lambda Labs объявила о привлечении финансирования в размере $500 млн для расширения своей облачной «платформы по требованию», которая предназначена для решения задач в области ИИ и машинного обучения. Программу возглавила Macquarie Group при участии Фонда промышленного развития (IDF).

Стартап Lambda Labs был основан в 2012 году. Он предоставляет услуги облачных ИИ-вычислений с использованием собственных систем на базе ускорителей NVIDIA и чипов AMD и Intel. Фирма сдаёт в аренду места в дата-центрах в Сан-Франциско (Калифорния) и Аллене (Техас). Компания также продаёт настольные рабочие станции на базе GPU.

Источник изображения: Lambda Labs

В феврале нынешнего года Lambda Labs сообщила о проведении инвестиционного раунда Series C на сумму в $320 млн. Как теперь стало известно, компания получила финансовую поддержку «специального назначения» обхёмом $500 млн для развития облачной ИИ-инфраструктуры. Речь идёт о внедрении «десятков тысяч» ускорителей.

Подход к предоставлению вычислительных ресурсов, который использует Lambda Labs, как отмечается, даёт возможность обслуживать тысячи клиентов без необходимости заключения долгосрочных контрактов. Таким образом, поддерживаются инновации в области ИИ, генеративных сервисов и больших языковых моделей (LLM). Lambda Labs также поддерживает платформу NVIDIA AI Enterprise, предоставляя полный набор решений для разработчиков генеративного ИИ.

Компания Hailo анонсировала специализированный модуль Hailo-10, предназначенный для обслуживания генеративного ИИ. Этот ускоритель с высокой энергетической эффективностью может быть установлен, например, в рабочую станцию или edge-систему.

Изделие выполнено в форм-факторе M.2 Key M 2242/2280 с интерфейсом PCIe 3.0 х4. В оснащение входят чип Hailo-10H и 8 Гбайт памяти LPDDR4. Говорится о совместимости с компьютерами, оснащёнными CPU на архитектурах x86 и Aarch64 (Arm64). Заявлена поддержка Windows 11, а также ИИ-фреймворков TensorFlow, TensorFlow Lite, Keras, PyTorch и ONNX.

Источник изображения: Hailo

Как отмечает Hailo, новинка обеспечивает ИИ-производительность до 40 TOPS. Типовое энергопотребление составляет менее 3,5 Вт. Утверждается, что ИИ-модуль поддерживает нагрузки, связанные с инференсом, в режиме реального времени. Например, при работе с большой языковой моделью Llama2-7B достигается скорость до 10 токенов в секунду (TPS). При использовании Stable Diffusion 2.1 возможна генерация одного изображения на основе текста менее чем за 5 с.

Применение Hailo-10 позволяет перенести определённые ИИ-нагрузки из облака или дата-центра на периферию. Это снижает задержки и даёт возможность решать задачи в офлайновом режиме. Изначально новинка будет позиционироваться для применения в сферах ПК и автомобильных информационно-развлекательных комплексов для обеспечения работы чат-ботов, средств автопилотирования, персональных помощников и систем с голосовым управлением.

Поставки образцов Hailo-10 будут организованы во II квартале 2024 года. В ассортименте компании также присутствует ускоритель Hailo-8 в формате M.2: он обеспечивает производительность до 26 TOPS и при этом имеет энергоэффективность 3 TOPS/Вт.