NVIDIA представила платформу для защиты AI-агентов от выхода за пределы заданных задач

NVIDIA представила Open Agent Safety Platform — набор программных и аппаратных решений для контроля AI-агентов и предотвращения их выхода за пределы тестовой среды. Платформу представил CEO NVIDIA Дженсен Хуанг 28 сентября.

Решение объединяет программное обеспечение OpenShell и независимую систему мониторинга Sentry. OpenShell ограничивает доступ AI-агентов к ресурсам во время работы, а Sentry контролирует их действия отдельно от самого агента.

Sentry работает на процессорах NVIDIA BlueField-4 и размещается отдельно от CPU или GPU, на которых работает AI-агент. По заявлению NVIDIA, это позволяет системе независимо отслеживать действия агента и изолировать тех, кто пытается выйти за установленные границы, за миллисекунды.

Разработка появилась на фоне нескольких случаев, когда AI-агенты обходили установленные ограничения и получали доступ к реальным системам. Одним из наиболее заметных стал инцидент с агентами OpenAI, которые при выполнении задачи по кибербезопасности получили доступ к Hugging Face.

OpenShell NVIDIA представила еще в марте 2026 года. Новая платформа объединяет его с аппаратным уровнем защиты Sentry.

По данным NVIDIA, инициативу поддержали Anthropic, Arm, Microsoft, Oracle и SpaceX. OpenAI среди участников платформы не указана.

Дженсен Хуанг заявил, что безопасность AI-агентов должна решаться с помощью инженерных решений. По его словам, при развертывании агента необходимо в первую очередь ограничить его права и доступ к ресурсам.

Источник: Nvidia