Полномочия ИИ-агента определяют по последствиям действия, доступным данным и возможности исправить результат. Чтение согласованных источников, подготовка черновика, изменение внутренней записи и перевод денег требуют разных правил. Для действий с серьёзными последствиями полезно предусмотреть подтверждение конкретного результата человеком.
Матрица полномочий служит рабочим документом между руководителем процесса и разработчиком. В ней описывают разрешённые операции, ограничения, проверку и ответственного. Формулировка «помогать отделу продаж» слишком широкая для настройки доступа.
Пять вопросов к каждой операции
Первый вопрос: что агент может изменить? Создание черновика ответа и отправка клиенту считаются отдельными операциями. Обновление заметки и смена банковских реквизитов тоже требуют отдельных правил.
Второй: какой ущерб возможен при ошибке? Учитывайте финансовые последствия, раскрытие сведений, обещания клиенту и нарушение работы сотрудников. Небольшая сумма ещё не означает низкий риск, если операция повторяется сотни раз.
Третий: можно ли отменить действие и что останется после отмены? Внутреннюю метку обычно проще вернуть. Получатель уже мог прочитать отправленное письмо. Поэтому наличие кнопки удаления не делает отправку полностью обратимой.
Четвёртый: достаточно ли у системы достоверных данных? При конфликте источников или неопределённом получателе полномочие должно сужаться до подготовки и передачи человеку.
Пятый: кто отвечает за проверку? «Менеджер» без назначенного сотрудника и срока реакции оставляет очередь подтверждений без владельца.
Пример матрицы для коммерческого отдела
Все уровни ниже служат инженерной рекомендацией для условного процесса. Компания должна адаптировать их под свои задачи.
| Операция | Режим | Ограничение | Что записать в журнал |
|---|---|---|---|
| Найти инструкцию | Самостоятельное чтение | Только разрешённые документы | Пользователь и источник |
| Подготовить письмо | Черновик | Без отправки и новых обещаний | Версия текста и основания |
| Добавить метку обращения | Автоматически в согласованном сценарии | Только выбранные метки | Старое и новое значение |
| Изменить этап сделки | Подтверждение ответственного | Проверка события и сделки | Основание и проверяющий |
| Отправить предложение | Подтверждение перед отправкой | Получатель, вложения, условия | Утверждённая версия |
| Сменить реквизиты или провести платёж | Отдельный строго ограниченный процесс | Проверки вне модели | Согласование и результат операции |
OWASP связывает риск чрезмерной самостоятельности агента с избытком функций, прав доступа и автономности. В рекомендациях проекта есть минимизация инструментов и проверка человеком действий с высоким влиянием. OWASP: Excessive Agency.
Как должно выглядеть подтверждение
Пользователь должен видеть предмет согласования: действие, получателя, содержание, сумму или изменяемые поля. Для письма полезен полный текст и перечень вложений. Для изменения CRM покажите текущую запись и предлагаемые значения.
После согласования объект фиксируют. Если агент поменял цену или адресата, требуется новая проверка. Рекомендуем также ограничивать срок подтверждения: устаревшие сведения могут сделать ранее согласованное действие ошибочным.
Условный пример: руководитель одобрил предложение клиенту А на определённую комплектацию. Затем агент нашёл другую комплектацию и пересчитал условия. Первое подтверждение относится к прежней версии. Оно не должно автоматически распространяться на обновлённый документ.
Подтверждение связывают с идентификатором операции и утверждёнными параметрами. Перед исполнением приложение сверяет их и атомарно проверяет состояние операции. Повторное нажатие возвращает уже известный результат или статус проверки, если исход ещё неизвестен. Поддержку защиты от повторов проверяют отдельно в подключённой системе.
Ограничения проверяет приложение
Инструкция «не отправляй без разрешения» полезна для поведения модели. Технический запрет дополнительно реализуют в функции отправки: без записи о подтверждении вызов отклоняется. Разрешения пользователя проверяют в той системе, где происходит действие.
OWASP рекомендует минимальные привилегии, отказ по умолчанию и проверку разрешений на каждом запросе. Эти принципы применимы к функциям, которыми пользуется агент. OWASP Authorization Cheat Sheet.
Рекомендуем выделить отдельную служебную учётную запись с минимальными правами. Для чтения каталога товаров ей не нужен доступ к удалению клиентов. Временный инструмент, оставшийся после эксперимента, тоже стоит исключить из доступного набора.
Сбой после согласования
Представим условную ситуацию: письмо отправлено, но подтверждение сервера потерялось. Агент видит ошибку и хочет повторить отправку. Итог операции пока неизвестен. Простое повторение может создать второе письмо.
Для таких случаев нужен идентификатор операции и проверка фактического результата. AWS описывает использование уникального идентификатора клиентского запроса для безопасных повторов в идемпотентных API. Поддержку этого механизма нужно проверять у конкретного подключённого сервиса. AWS Builders' Library: безопасные повторы.
В матрице запишите правило для неизвестного результата: остановиться, сверить журнал и состояние внешней системы, передать ситуацию ответственному при нехватке доказательств. Повторный вызов с новым идентификатором может считаться новой операцией и требует отдельного решения.
Как расширять права после пилота
Начните со сценария подготовки: агент собирает сведения, сотрудник выполняет действие. Соберите ошибки и причины ручных исправлений. Затем выберите небольшой класс операций, для которого можно точно проверить входные данные, ограничить последствия и восстановить состояние.
Перед расширением доступа повторите испытания на ошибочный адресат, противоречивые данные, повтор события и попытку выполнить чужую операцию. Доля правильных ответов в чате не показывает, насколько хорошо агент соблюдает границы полномочий.
При изменении роли сотрудника пересматривают его доступ и ранее ожидающие операции. Увольнение, смена отдела или передача клиента другому менеджеру могут изменить полномочия. Рекомендуем проверять их снова в момент исполнения, даже если поручение было создано раньше. Такие переходы также включают в испытания.
Владелец процесса должен иметь способ быстро отключить отдельный инструмент. Это позволит продолжать чтение и подготовку, пока спорная операция находится на проверке. Матрицу обновляют вместе с изменениями инструментов и бизнес-процесса.
Источники
- OWASP LLM06: риски избытка функций, прав и самостоятельности.
- OWASP Authorization: проверка разрешений в приложении.
- AWS Idempotent APIs: идентификаторы запросов при повторном выполнении. Матрица и правила согласования предложены редакцией, юридические полномочия определяются отдельно.