عامل با نرم‌افزار قطعی متفاوت است
عامل هوشمند در یک حلقه فکر، عمل و مشاهده تصمیم می‌گیرد و برای انجام کار به حافظه، بازیابی اطلاعات و ابزارهای بیرونی متصل می‌شود. به همین دلیل آزمون خروجی نهایی به‌تنهایی برای سنجش کیفیت آن کافی نیست.
ارزیابی باید مسیر تصمیم، انتخاب ابزار، بازیابی از خطا و رعایت محدودیت‌ها را بررسی کند. استقرار مرحله‌ای از محیط آزمایش تا عرضه محدود، همراه با ثبت رخداد و مجوز حداقلی، احتمال رفتار پرریسک را کاهش می‌دهد.
مهندسی کیفیت عامل
کیفیت عامل باید در چند سطح سنجیده شود. آزمون واحد برای ابزار و بازیابی داده، آزمون سناریو برای مسیرهای چندمرحله‌ای و ارزیابی انسانی برای قضاوت‌های حساس مکمل یکدیگرند. فقط مقایسه پاسخ نهایی، خطای انتخاب ابزار یا استدلال پرهزینه را پنهان می‌کند.
زمینه و حافظه نیز منبع ریسک هستند. نگهداری بیش از حد اطلاعات می‌تواند محرمانگی را تهدید کند و حافظه ناقص باعث تصمیم نادرست شود. باید مشخص باشد چه چیزی در نشست کوتاه‌مدت می‌ماند، چه داده‌ای وارد حافظه بلندمدت می‌شود و کاربر چگونه می‌تواند آن را اصلاح یا حذف کند.
پس از انتشار، نمونه‌ای از مسیرهای واقعی باید به‌طور مداوم ارزیابی شود. تغییر مدل، ابزار، داده یا دستور می‌تواند رفتار عامل را عوض کند. نسخه‌بندی و امکان بازگشت سریع باعث می‌شود بهبودها بدون از دست‌دادن کنترل عملیاتی انجام شوند.
رفتار عامل را در شرایط سخت بسنجید
یک عامل پشتیبانی ممکن است در درخواست معمولی خوب پاسخ دهد، اما با سند ناقص، دستور متناقض یا قطع ابزار چه می‌کند؟ مجموعه ارزیابی باید این حالت‌ها را پوشش دهد و نشان دهد عامل چه وقت پاسخ می‌دهد، سؤال تکمیلی می‌پرسد یا کار را به انسان می‌سپارد. نرخ تکمیل وظیفه به‌تنهایی کافی نیست؛ انجام کار اشتباه با اعتماد بالا می‌تواند پرهزینه‌تر از توقف به‌موقع باشد.
در انتشار محدود، سقف فراخوانی ابزار و هزینه هر وظیفه بگذارید و مسیر هر تصمیم را ثبت کنید. پیش از گسترش، چند نمونه شکست را با تیم محصول و امنیت مرور کنید: آیا منبع اشتباه بازیابی شد، ابزار نامناسب انتخاب شد یا مجوز بیش از حد بود؟ اصلاح این ریشه‌ها از افزودن دستورهای بیشتر به پرامپت پایدارتر است.
پیش از انتشار عمومی چه چیزی باید روشن باشد؟
معیار موفقیت، مجموعه ابزارهای مجاز، سیاست حافظه، مسیر تأیید انسانی و روش توقف اضطراری را مستند کنید. پایلوت واقعی اما محدود، شکاف میان دموی جذاب و سامانه قابل اتکا را آشکار می‌کند.
این مطلب بازنویسی تحلیلی دانشنامه لیان بر پایه منبع اصلی است.مشاهده منبع اصلی
