AI agent xavfsiz bo'lishi uchun: inson tasdig'i va jurnal

AI agent — bu o'zi qaror qilib, API va ma'lumotlar bazasi bilan ishlaydigan dastur. Foydasi katta, lekin xavfi ham: agent noto'g'ri buyurtmani bekor qilsa yoki mijozga noto'g'ri narx aytsa, kim javob beradi? Javob — arxitektura. Agentni xavfsiz qiladigan uchta narsa bor.

1. Amallar ro'yxati va darajalari

• Agent qila oladigan har bir amalni yozib chiqing: "buyurtmani ko'rish", "status o'zgartirish", "pul qaytarish".
• Har biriga daraja bering: o'zi qiladi (o'qish, hisobot), tasdiq bilan (status, chegirma), taqiqlangan (pul, o'chirish).

2. Inson tasdig'i (human-in-the-loop)

• "Tasdiq bilan" amallar uchun agent to'xtaydi va menejerga Telegram/CRM orqali so'rov yuboradi: nima qilmoqchi, nega, qanday ma'lumot asosida.
• Tasdiq bir tugma bilan beriladi; rad etilsa, agent sababini o'rganib, boshqa yo'l taklif qiladi.

3. Faoliyat jurnali

• Har bir qadam yoziladi: kirish ma'lumoti, qaror, chaqirilgan API, natija, vaqt.
• Jurnal o'zgartirib bo'lmaydigan joyda saqlanadi va haftada bir ko'rib chiqiladi — shunda agentning "odatlari" ko'rinadi.

Amaliy maslahat

Birinchi agentni faqat o'qiydigan qiling: savollarga javob bersin, hisobot tuzsin, lekin hech narsani o'zgartirmasin. 2–4 hafta jurnalni kuzating. Xatolar kam bo'lsa — "tasdiq bilan" darajani oching. "Taqiqlangan" amallar hech qachon agentga berilmaydi — bu dizayn qarori, texnik cheklov emas.