بودجه میلی‌ثانیه: مهندسی تجربه سریع‌تر هوش مصنوعی

تیم‌ها در برابر قابلیت کند، معمولاً سراغ مدل سریع‌تر می‌روند. گاهی درست است، اما مدل اغلب فقط یک بخش از مسیر طولانی پاسخ است.

کل سفر را اندازه بگیرید

هر درخواست را به بخش‌های قابل مشاهده تقسیم کنید: برقراری اتصال، احراز هویت، پردازش ورودی، بازیابی، صف مدل، نخستین توکن، فراخوانی ابزار، تولید نهایی، کنترل ایمنی و نمایش. تأخیر عادی و مسیر کند را جداگانه بسنجید؛ میانگین ممکن است خوب باشد، در حالی که گروهی از کاربران همیشه بیش از حد منتظر می‌مانند.

معیارهای مفید به تجربه نزدیک‌اند:

• زمان تا واکنش اولیه رابط.
• زمان تا نمایش نخستین اطلاعات مفید.
• زمان تا تصمیم بعدی کاربر.
• زمان تا تأیید اثر جانبی.

زمان را جایی خرج کنید که کیفیت می‌خرد

همه گام‌ها به سرعت یکسان نیاز ندارند. پیشنهاد جست‌وجو باید فوری باشد؛ تحلیل مهم می‌تواند برای استدلال و بررسی بیشتر زمان بگیرد. درخواست ساده را به مدل کوچک‌تر بسپارید، بازیابی‌های امن را موازی کنید، زمینه ثابت را ذخیره و از فرستادن کل تاریخچه در هر نوبت پرهیز کنید.

برای ابزار نیز بودجه جدا بگذارید. مهلت، نمایش پیشرفت و جایگزین مفید در صورت کندی وابستگی ضروری است. جریان پاسخ حس سرعت را بهتر می‌کند، اما پاسخ نامطمئنی را که مدام جهت عوض می‌کند توجیه نمی‌کند.

مسیر کند را بهینه کنید

شروع سرد، سند طولانی، ورودی چندزبانه، شبکه ضعیف و شکست ابزار را آزمایش کنید. معمولاً همان مسیری که در دمو دیده نمی‌شود اعتماد را از بین می‌برد.

مهندسی تأخیر، طراحی محصول در بُعد زمان است: سامانه خوب فوراً توجه نشان می‌دهد و فقط زمانی ثانیه بیشتری مصرف می‌کند که نتیجه واقعاً بهتر شود.