Чтобы AI-агент был безопасным: подтверждение человеком и журнал

AI-агент — программа, которая сама принимает решения и работает с API и базой данных. Польза большая, но и риск: если агент отменит не тот заказ или назовёт клиенту неверную цену — кто отвечает? Ответ — архитектура. Агента делают безопасным три вещи.

1. Список действий и уровни

• Выпишите каждое действие агента: «посмотреть заказ», «сменить статус», «вернуть деньги».
• Дайте уровень: сам (чтение, отчёт), с подтверждением (статус, скидка), запрещено (деньги, удаление).

2. Подтверждение человеком

• На действиях «с подтверждением» агент останавливается и шлёт менеджеру запрос в Telegram/CRM: что хочет сделать, почему, на основе каких данных.
• Подтверждение — одна кнопка; при отказе агент учитывает причину и предлагает другой путь.

3. Журнал действий

• Записывается каждый шаг: вход, решение, вызванный API, результат, время.
• Журнал хранится там, где его нельзя изменить, и просматривается раз в неделю — так видны «привычки» агента.

Практический совет

Первого агента сделайте только читающим: пусть отвечает на вопросы и строит отчёты, но ничего не меняет. 2–4 недели смотрите журнал. Ошибок мало — открывайте уровень «с подтверждением». «Запрещённые» действия агенту не даются никогда — это решение дизайна, а не техническое ограничение.