Платформа Google Cloud анонсировала сервис Agent Compute Engine, оптимизированный для размещения ИИ-агентов, сообщает SiliconANGLE. ИИ-агенты традиционно функционируют в песочницах — здесь размещаются приложения, данные и инструкции пользователей, необходимые для выполнения поставленных задач. Эти среды оснащены механизмами кибербезопасности, блокирующими вредоносные действия.
На сервисе Agent Compute Engine такие песочницы реализованы в виде микровиртуальных машин (microVM) — эта технология сочетает аппаратную эффективность контейнеров с уровнем безопасности традиционной виртуализации. В Google использовали возможности гипервизоров по изоляции виртуальных машин друг от друга, чтобы предотвратить распространение вредоносов.
Источник изображения: Ameer Basheer / unsplash.com
Микровиртуальные машины работают на специально настроенном оборудовании без сохранения состояния — они не сохраняют на постоянной основе применяемые ИИ-агентами файлы. Для хранения данных используется неизменяемая файловая система без возможности изменения или удаления информации. Целостность прошивки на оборудовании проверяется с помощью чипов кибербезопасности Titan, а его центральные процессоры имеют средства защиты от атак по сторонним каналам. У microVM есть лишь ограниченный доступ к ресурсам хранения данных — если злоумышленники установят контроль над одной из песочниц, они не смогут ни прочитать, ни удалить их. Сеть, соединяющая оборудование с остальной инфраструктурой ЦОД, также имеет дополнительную защиту: трафик проходит через несколько прокси-серверов.
Когда ИИ-агент завершает работу, песочница, в которой он функционировал, должна оставаться доступной, потому что его могут активировать снова. Такие простаивающие песочницы могут потреблять значительный объём ресурсов и приводить к росту затрат. Сервис Agent Compute Engine отслеживает переход песочницы в состояние простоя и отключает её, предотвращая тем самым излишнее потребление аппаратных ресурсов; когда песочница снова становится востребованной, сервис оперативно её активирует. «Это позволяет разместить на одном физическом узле значительно больше microVM для агентов, чем при использовании традиционных виртуальных машин. Мы дополнили решение необходимыми для работы агентов функциями: созданием снимков и форками, возможностями перемотки и отката состояния. Это позволяет эффективно использовать систему без дублирования ресурсов», — пояснили в Google Cloud.
Некоторые агенты для доступа к приложениям используют учётные данные пользователей — эти данные хранятся вне песочницы, в которой запущен агент, подчеркнули в Google. За счёт этого злоумышленники, даже получив контроль над песочницей, не смогут похитить конфиденциальную информацию. Когда агенту требуется войти в приложение, служба Google Cloud Agent Gateway извлекает соответствующие учётные данные и передаёт их в приложение от имени агента. В ближайшие месяцы Agent Compute Engine заработает с новой версией Agent Gateway — последняя служба помогает клиентам блокировать небезопасный трафик агентов, и она получит функцию маршрутизации моделей. Каждый запрос агента станет направляться к той модели, которая сможет обработать его наиболее эффективно. В Agent Gateway также появится инструмент для контроля расходов, связанных с инференсом.
Ранее в Google Cloud представили набор инструментов TorchTPU для работы с PyTorch на TPU. Облачный провайдер объявил о готовности запустить в ноябре инстансы на NVIDIA Vera Rubin NVL72. Клиенты платформы также получат доступ к новейшим моделям OpenAI.
Источник:
