Как защитить корпоративные данные при использовании ИИ-агентов

На конференции TechCrunch Disrupt прошла дискуссия, посвященная безопасности ИИ-агентов. Участники обсудили риски внедрения автономных ИИ-систем, управление доступом к корпоративным данным, защиту инфраструктуры и новые требования к разработке таких решений. Делимся главными тезисами.

Зак Уиттакер, редактор отдела безопасности в TechCrunch

Гавриэль Коэн, сооснователь и генеральный директор в NanoCo

Рик Смит, президент по продуктам и технологиям в Okta

Как обеспечить безопасность ИИ-агентов

ИИ-агенты способны выполнять задачи, для которых раньше требовалось участие сотрудников. Однако подключение к различным инструментам, приложениям и корпоративным данным создает дополнительные риски.

Один из способов снизить их — запускать агентов в изолированной среде и предоставлять доступ только к ресурсам, необходимым для конкретной задачи. Критически важные действия, например отправка документов внешним получателям, могут требовать подтверждения человека.

При этом компаниям необходимо применять к ИИ-агентам те же принципы управления доступом, что и к сотрудникам. Без четких ограничений агенты могут получить доступ к приложениям и данным, которые не нужны для их работы.

Какие ошибки допускают компании

При внедрении ИИ организации часто сосредоточены на повышении производительности, а вопросы безопасности решают уже после запуска систем. Компании не всегда заранее определяют, к каким данным, приложениям и инструментам должен иметь доступ агент.

Для снижения рисков используется принцип минимальных привилегий — агент получает только те разрешения, которые необходимы для выполнения конкретной задачи.

Дополнительный уровень защиты — проверка действий на соответствие намерениям пользователя. Перед началом работы агент формирует план, который утверждает человек. Затем отдельная модель проверяет, соответствует ли выполнение задачи согласованному плану.

Одних ограничений внутри приложения недостаточно. Если агент выйдет за пределы изолированной среды, он не должен автоматически получать доступ к остальной инфраструктуре.

Почему старые уязвимости становятся опаснее

Автономные ИИ-агенты способны исследовать инфраструктуру и последовательно использовать слабые места систем. Поэтому неисправленные уязвимости могут представлять еще большую угрозу для компаний.

Для защиты необходимо регулярно обновлять программное обеспечение, устранять известные уязвимости и проверять, какие ресурсы доступны агентам при выходе за пределы контейнера или виртуальной машины.

Особенно сложно обеспечить такую защиту организациям с ограниченными ИТ-бюджетами, которые не всегда успевают обновлять инфраструктуру и внедрять дополнительные меры безопасности.

Почему запрет на ИИ не всегда помогает

Полный запрет на подключение ИИ к корпоративным данным может привести к обратному результату. Если сотрудники не могут использовать агента для работы с внутренними системами, они могут начать передавать данные во внешние сервисы вручную.

Во время дискуссии привели пример крупной компании, сотрудники которой не могли подключать агентов к корпоративному хранилищу. Чтобы создавать аналитические панели, они самостоятельно выгружали десятки тысяч клиентских записей и загружали их в веб-версию Claude для обработки.

Такой подход повышает риск утечки информации. Более безопасная альтернатива — контролируемый доступ к необходимым данным с возможностью отслеживать действия ИИ-агента.

Компании также должны учитывать риск намеренного злоупотребления ИИ со стороны сотрудников. Для этого важно контролировать передачу данных, сетевые подключения и работу с критически важными системами.

Зачем агентам нужна кнопка экстренной остановки

При возникновении угрозы компания должна иметь возможность быстро остановить работу агента. Для этого необходимы механизмы отзыва разрешений, отключения отдельных инструментов и прекращения доступа к корпоративным ресурсам.

Если агент выходит за пределы изолированной среды, одного отзыва доступа к данным может быть недостаточно. В таких случаях потребуется остановить вычислительные процессы и ограничить доступ к инфраструктуре.

Однако многие компании пока запускают агентов на обычных рабочих компьютерах без полноценной изоляции. Это усложняет контроль их действий и экстренное отключение.

Команды из ИИ-агентов

Компании постепенно переходят от использования отдельных ИИ-помощников к системам, в которых несколько агентов совместно выполняют задачи и обмениваются информацией.

В ближайшие месяцы команды из ИИ-агентов могут стать одним из ключевых направлений развития индустрии. Количество агентов, работающих в рамках одной команды, может увеличиваться от десятков до сотен, а крупные исследовательские лаборатории уже экспериментируют с системами, включающими тысячи агентов.

При этом у каждого агента должен быть ответственный владелец, который контролирует его работу. По мере развития таких систем компаниям потребуется обеспечивать безопасное взаимодействие не только между агентами и сотрудниками, но и между самими агентами и внешними коммерческими сервисами.

Что важно учитывать разработчикам

Безопасность ИИ-агентов требует регулярного обновления программного обеспечения, устранения известных уязвимостей и контроля доступа к корпоративным ресурсам.

При разработке продуктов также важно учитывать скорость развития ИИ. Пока корпоративное решение проходит согласования и проверки безопасности, технологии и потребности клиентов могут существенно измениться.

Поэтому разработчикам необходимо проектировать системы с учетом не только текущих задач, но и требований, которые могут возникнуть в ближайшие месяцы. Это позволит сделать продукты более гибкими и подготовить их к новым сценариям использования ИИ-агентов.