На платформе Oracle Cloud Infrastructure (OCI) будет организован доступ к технологиям высокоскоростного ИИ-инференса Cerebras. Решение предназначено для исследовательских лабораторий в сфере ИИ, корпораций и разработчиков, которые создают интерактивные интеллектуальные приложения.
Партнёрство затрагивает существующую инфраструктуру Oracle и её возможности в области ИИ-инференса, включая специализированные кластеры (Dedicated AI Clusters) в составе сервиса OCI Enterprise AI. ИИ-приложения берут на себя выполнение всё более сложных многоэтапных задач, и скорость инференса становится критически важным фактором для качества взаимодействия с пользователем. Задержку увеличивает каждый дополнительный вызов ИИ-модели, что может замедлить цепочки рассуждений и работу ИИ-агентов. Быстрый инференс позволяет разработчикам создавать агенты и приложения, которые сохраняют высокую скорость отклика даже при выполнении наиболее сложных задач.
Источник изображения: cerebras.ai
Процессор Cerebras Wafer-Scale Engine, разработанный специально для высокоскоростного ИИ-инференса, объединяет вычислительные мощности и память на одном кристалле размером с целую кремниевую пластину. Такая архитектура сокращает перемещение данных и необходимость обмена информацией между отдельными чипами, в результате чего обеспечивается быстрая генерация токенов даже в длинных цепочках рассуждений и многоэтапных процессах, которые выполняют ИИ-агенты.
Решение Cerebras Inference станет доступным в OCI в 2027 году — клиенты облачной платформы Oracle получат новый инструмент для создания ИИ-приложений, в которых скорость имеет решающее значение. Ранее AMD и Cerebras представили платформу для ИИ-инференса со сверхнизкой задержкой. Разработчик царь-чипов к концу года намерен развернуть в Европе 200 МВт ИИ-мощностей. Только в Финляндии компания получит объект на 165 МВт.
Источник:
