میز آزمون: ارزیابی عامل‌های کار با رایانه فراتر از دمو

عامل کار با رایانه زمانی چشمگیر است که کار فقط یک مسیر تمیز دارد. رابط واقعی شامل نشست منقضی، پنجره مزاحم، برچسب مبهم، ذخیره ناقص، مجوز و داده‌ای است که هنگام کار تغییر می‌کند.

ارزیابی باید همین واقعیت را بازسازی کند.

نتیجه را بسنجید، نه کلیک را

وضعیت نهایی مطلوب و اثرهای جانبی غیرقابل قبول را تعریف کنید. در یک فرایند هزینه، موفقیت یعنی رسید درست پیوست شود، فیلدها با منبع تطابق داشته باشند، استثنای سیاست مشخص شود و چیزی بدون تأیید ارسال نشود. چند کلیک ظاهراً منطقی کافی نیست.

موارد آزمون را در چهار بُعد بسازید:

• تنوع: چیدمان، زبان، اندازه پنجره و قالب داده متفاوت.
• وقفه: پایان مهلت، ورود دوباره، رکورد تغییرکرده و وابستگی مفقود.
• ابهام: نام مشابه، دستور ناقص و شواهد متناقض.
• پیامد: پیش‌نویس، ویرایش برگشت‌پذیر، پیام بیرونی و ارسال نهایی.

شواهد را برای بازپخش نگه دارید

مشاهده هر گام، اقدام انتخاب‌شده، پاسخ ابزار و وضعیت حاصل را ثبت کنید. داده حساس را بپوشانید، اما ساختار کافی برای بازپخش شکست باقی بگذارید. بدون شواهد گام‌به‌گام نمی‌توان خطای ادراک را از برنامه‌ریزی بد یا اجرای ناامن جدا کرد.

بازیابی را جداگانه امتیاز دهید

عاملی که عدم قطعیت را تشخیص می‌دهد و کمک می‌خواهد ممکن است از عاملی که با حدس کار بیشتری تمام می‌کند ارزشمندتر باشد. توقف امن، ادامه موفق، اقدام تکراری و کیفیت ارجاع را کنار نرخ تکمیل بسنجید.

میز آزمون یک رتبه‌بندی یک‌باره نیست؛ سامانه رگرسیونی است که عامل در حال تغییر را قابل اتکا نگه می‌دارد.