Сатья Наделла назвал принципы безопасного использования ИИ

Глава Microsoft Сатья Наделла опубликовал пост в социальной сети X, в котором заявил о необходимости пересмотреть подход к безопасности систем искусственного интеллекта. По его мнению, по мере развития ИИ-моделей и автономных агентов важно не только оценивать их возможности, но и создавать независимые механизмы контроля за их действиями.

За последние несколько десятилетий традиционные программные системы получили широкое распространение в экономике. Их поведение можно было отслеживать вплоть до конкретных участков кода.

В случае современных систем суперинтеллекта такой подход не работает. Хотя передовые модели ИИ уже превосходят традиционные программы по своим возможностям, их поведение и результаты нельзя напрямую связать с конкретными обучающими данными или настройками модели. При этом автономные системы получают доступ к конфиденциальной информации и могут выполнять от имени пользователей и организаций критически важные задачи.

По мере развития ИИ необходимо пересмотреть подходы к безопасности и контролю таких систем. Ответственность за действия ИИ нельзя полностью перекладывать на разработчиков моделей. Даже гарантии поставщика не освобождают организации от необходимости самостоятельно контролировать использование технологии.

Суперинтеллект нельзя воспринимать как набор черных ящиков, рекомендации и действия которых остается лишь принимать или отклонять. Необходимо создавать системы с ограниченными полномочиями, поведение которых можно отслеживать, ограничения — проверять, а действия — останавливать при необходимости.

Другими словами, предоставление интеллектуальных возможностей следует отделить от полномочий по управлению ими.

Как контролировать ИИ

Если оставить в стороне сложную проблему согласования целей ИИ с человеческими ценностями, основой безопасности должен стать инженерный подход к ограничению возможностей и управлению системами. Непредсказуемые модели необходимо окружить надежной архитектурой с четко определенными правилами, механизмами человеческого контроля и проверенными процедурами работы. Там, где существующих требований недостаточно, следует разработать отраслевые стандарты.

Один из возможных подходов — рассматривать передовые модели с закрытыми и открытыми весами как потенциальный источник внутренних угроз. Это не означает, что ИИ обязательно действует со злым умыслом. Однако любая достаточно мощная система, имеющая доступ к важным ресурсам, может допустить ошибку или оказаться скомпрометированной. Архитектура безопасности должна учитывать такую возможность.

При этом у организаций уже есть опыт управления внутренними угрозами. За десятилетия в сфере информационной безопасности сформировались практики, которые помогают контролировать доступ к корпоративным системам. Среди них — проверка личности, ограничение прав доступа, регистрация действий и изоляция отдельных компонентов.

Теперь эти принципы начинают применять и к системам суперинтеллекта внутри организаций. Один из первых шагов — обеспечение прозрачности цепочки рассуждений модели. Особенности внутреннего языка ИИ не должны служить оправданием непрозрачности его логики.

Однако одной прозрачности рассуждений недостаточно. Пока не существует надежного способа гарантировать, что результаты работы модели всегда точно отражают ход ее рассуждений и позволяют полностью понять, как был получен ответ.

Модели можно использовать для взаимного тестирования и проверки на устойчивость к атакам. Но такой подход не устраняет проблему, если одна непрозрачная модель работает внутри непрозрачной системы управления, а за ней наблюдает другая модель с такими же ограничениями. В итоге получается несколько вложенных друг в друга черных ящиков, безопасность которых сложно проверить независимо.

Поэтому механизмы, определяющие доступ модели к данным и разрешенные ей действия, должны находиться за пределами самой модели. Этот подход основан на принципе информационной безопасности, сформулированном еще в 1970-х годах: программа не должна иметь возможности обходить или изменять механизмы, которые обеспечивают соблюдение ее прав доступа.

Для современных ИИ-систем это означает необходимость отделить модель от управляющей среды, которая координирует ее работу, и от набора действий, которые ей разрешено выполнять. Механизмы контроля и защиты также должны быть независимыми от самой модели.

Как обеспечить безопасность ИИ

Безопасные системы искусственного интеллекта должны строиться на нескольких ключевых принципах:

Разнообразие моделей. Результат выполнения важной задачи не должен зависеть исключительно от одной модели. Она также не должна единолично проверять собственную работу.

Наблюдаемость действий. Каждое значимое действие модели должно оставлять защищенные от подделки свидетельства, доступные для анализа человеком. Если действие нельзя отследить, доверять ему сложнее. Организации должны иметь возможность восстановить последовательность действий, которая привела к определенному результату, не полагаясь на объяснения самой модели.

Возможность проверки. Необходимо регулярно тестировать всю систему, включая ее поведение при сбоях, атаках, нестандартных ситуациях и изменениях конфигурации. Проверки не должны ограничиваться случаями, когда задача выполняется успешно.

Независимый контроль. Организации должны самостоятельно определять, к каким данным и ресурсам может обращаться модель и какие действия ей разрешено выполнять.

Независимый аудит. Проверка безопасности должна проводиться независимо от ИИ, работа которого оценивается. Одна модель не должна одновременно управлять поведением системы и контролировать доказательства того, что ее действия соответствуют первоначальным целям.

Изоляция и возможность остановки. При проектировании необходимо учитывать риск компрометации модели и заранее предусматривать механизмы ее изоляции. Уполномоченные сотрудники должны иметь возможность приостановить работу модели или полностью отключить ее в любой момент, в том числе во время выполнения задачи. По мере развития ИИ потребуются более совершенные технологии изоляции и единые отраслевые стандарты их применения.

Раскрытие информации об инцидентах. В случае сбоя или компрометации системы затронутые стороны должны своевременно получать информацию о произошедшем. Организациям необходимо обмениваться сведениями о причинах инцидентов, отказавших механизмах защиты и способах предотвращения подобных ситуаций. Такой обмен должен охватывать всю отрасль и включать технические детали, влияющие на поведение автономных агентов во время работы.

Надежность системы суперинтеллекта не должна зависеть исключительно от уровня доверия к самой модели. Наиболее безопасной будет система, которая позволяет минимально полагаться на это доверие благодаря независимому контролю, ограничению полномочий и возможности вмешательства человека.