ИИ-агенты постепенно переходят из категории экспериментальных инструментов в рабочие системы бизнеса. Они могут искать информацию, обрабатывать документы, работать с файлами, обращаться к корпоративным базам, готовить сообщения, обновлять данные и выполнять последовательность действий вместо сотрудника. Вместе с этими возможностями возникает управленческий вопрос: какие действия агенту действительно можно разрешить выполнять самостоятельно, а где решение должен подтвердить человек?

При внедрении ИИ-агентов недостаточно определить только задачу и подключить необходимые инструменты. Компании нужно заранее установить права агента, источники информации, правила работы с внешними данными, порядок проверки результатов и границы автономных действий. Такая система делает работу агента управляемой и позволяет понимать, что именно происходило на каждом этапе.

Я смотрю на ИИ-агентов одновременно как инженер и как практикующий руководитель. Для меня безопасность начинается с архитектуры процесса: какие данные агент видит, к каким системам имеет доступ, какие действия может выполнять самостоятельно и в какой момент решение обязательно должен подтвердить человек. Эти границы необходимо определять до запуска рабочего сценария, поскольку после подключения агента к реальным файлам, аккаунтам и коммуникациям последствия его действий уже становятся частью бизнес-процесса.

Первое правило при настройке ИИ-агента — давать ему только те права, которые нужны для выполнения конкретного сценария. Если агент должен анализировать документ и подготовить выводы, ему не требуется полный доступ к почте, файловой системе или другим корпоративным сервисам. Если задача связана с календарём, доступ к CRM и финансовым данным также может быть избыточным.

Такой принцип снижает количество потенциальных точек риска. Чем меньше систем агент может изменять самостоятельно, тем проще контролировать его работу и разбирать возможную ошибку. При внедрении агентных решений в компании полезно составить отдельный перечень: какие данные агент может читать, что может изменять, куда может отправлять информацию и какие действия для него полностью закрыты.

Отчёт агента о выполненной работе нельзя считать полноценной проверкой. Это тоже сгенерированный моделью текст. Если агент сообщил, что исправил файл, необходимо посмотреть сам файл. Если он изменил данные в системе, нужно проверить изменение в системе. Если создал код или настроил автоматизацию, оценивается фактический результат работы.

Для бизнес-процессов это особенно важно. Система контроля должна опираться на реальные действия агента, а не на его собственное описание этих действий. Поэтому журнал операций лучше формировать отдельно от самого агента: какие инструменты использовались, какие файлы открывались, какие данные изменялись, какие внешние запросы выполнялись.

Такой лог позволяет восстановить последовательность событий и понять причину ошибки. Для процессов, связанных с клиентами, деньгами, документами или корпоративными данными, это становится частью нормальной архитектуры внедрения.

ИИ-агент может работать с письмами, сайтами, документами, сообщениями клиентов и другими внешними источниками. Внутри такого контента могут встречаться инструкции, которые модель способна ошибочно воспринять как команду.

Например, агент получает письмо клиента, анализирует вложение или изучает страницу в интернете. Содержание этих материалов должно восприниматься как данные для обработки. Оно не должно автоматически менять системные правила агента, расширять его права или запускать дополнительные действия.

Это один из ключевых принципов безопасной работы с агентами, имеющими доступ к сети и корпоративным системам. Инструкции, определяющие поведение агента, должны храниться отдельно от информации, которую он получает в процессе работы.

Для автономного агента полезно устанавливать лимит действий, которые он может выполнить подряд до проверки человеком. Длинная последовательность увеличивает вероятность того, что небольшая ошибка на одном этапе повлияет на следующие действия.

При этом одного ограничения по количеству шагов недостаточно. Значение имеет ещё и тип действия. Один автономный шаг может иметь значительно более серьёзные последствия, чем двадцать технических операций внутри безопасного контура.

Например, агент может самостоятельно обработать входящую заявку, классифицировать её и занести информацию в CRM. Решение изменить клиенту цену, предоставить скидку, согласовать компенсацию или сформулировать официальную позицию компании уже относится к другому уровню ответственности.

Поэтому при внедрении ИИ-агентов я бы определяла не только количество разрешённых автономных действий, а полноценную матрицу полномочий агента.

Для каждого сценария компания может определить собственный уровень автономности. Низкорисковые действия агент выполняет самостоятельно. Более значимые операции проходят проверку сотрудником. Действия, способные создать финансовые, юридические, репутационные или кадровые последствия, остаются за человеком.

Например, агент может автоматически подтвердить получение заявки, отправить согласованное напоминание о встрече или подготовить стандартную информацию из утверждённой базы знаний. Для индивидуального коммерческого предложения, новой цены, скидки, изменения сроков, ответа на претензию или обещания компенсации уже требуется согласование.

Отдельный уровень составляют действия от имени компании: публичные заявления, коммуникация со СМИ и государственными органами, кадровые решения, распоряжение денежными средствами, признание ответственности и изменение существенных условий договора. Для таких сценариев роль человека должна быть заранее зафиксирована в процессе.

В своей работе я придерживаюсь простого принципа: чем серьёзнее последствия действия, тем меньше автономии должно быть у агента.

Ещё одна важная часть контроля — источник информации, на основании которого агент принимает решение или готовит сообщение. Если он сообщает клиенту статус заказа, нужно заранее определить, откуда этот статус берётся. Если называет стоимость, должен использоваться утверждённый прайс. Если сообщает дату встречи, источником становится конкретный календарь.

Агенту не следует самостоятельно выбирать между несколькими противоречащими друг другу источниками в ситуациях, где ошибка может привести к последствиям для компании. Для каждого рабочего сценария полезно заранее определить основной источник данных и правило действий при отсутствии информации или расхождении данных.

Это особенно важно при работе агента одновременно с CRM, корпоративными документами, почтой, таблицами и базами знаний.

Если действие требует проверки, сотруднику недостаточно показать только подготовленный текст. Он должен видеть получателя сообщения, используемые данные, сумму, сроки, ссылки, вложения и другие параметры, влияющие на результат.

После согласования существенные параметры также не должны изменяться незаметно. Если поменялся адресат, цена, ссылка, обязательство или содержание сообщения, такое действие должно проходить повторную проверку. Эта логика позволяет сделать человеческий контроль частью процесса, а не формальной кнопкой подтверждения.

Если вы хотите глубже разобраться в том, как ИИ-агенты работают в бизнес-процессах, посмотрите связанные материалы.

ИИ для тендеров: анализ требований, сроков и документов — практический пример того, как ИИ и агентные сценарии можно использовать для работы с большими комплектами документов, проверки требований и подготовки заявки.

Hermes Agent для бизнеса: задачи, память, инструменты и границы применения — пример полноценной агентной системы, которая работает с памятью, инструментами, файлами и последовательностями действий.

Все материалы по теме собраны в разделе «ИИ-ассистенты и агенты». Там публикуем практические материалы о сценариях применения, выборе задач, ограничениях и внедрении ИИ-агентов в компании.

Елена Пучкова — инженер, руководитель и сооснователь проекта «Цифровые трансформации». В своих материалах она рассматривает ИИ с позиции реальных бизнес-процессов: работы с документами, техническими задачами, автоматизацией, ИИ-ассистентами и агентами.

Подробнее об Елене Пучковой — на странице эксперта.

Если вы рассматриваете внедрение ИИ-агента, на консультации можно разобрать конкретный процесс, определить необходимые доступы, источники данных, уровень автономности и действия. Напишите нам здесь.