یافته عجیب درباره چت‌بات‌ها: درخواست پاسخ کوتاه احتمال اشتباه را افزایش می‌دهد

مطالعه‌ای جدید از شرکت فرانسوی Giskard نشان می‌دهد که درخواست برای پاسخ‌های کوتاه می‌تواند دقت مدل‌های هوش مصنوعی را کاهش دهد. این شرکت که روی ارزیابی عملکرد مدل‌های زبانی کار می‌کند، هشدار داد که درخواست پاسخ کوتاه باعث افزایش «توهم» یا تولید اطلاعات ساختگی در چت‌بات‌ها می‌شود.

به گفته‌ی محققان، هنگامی‌که از مدل خواسته می‌شود مختصر پاسخ دهد، به دلیل محدودیت در فضای توضیح نمی‌تواند به‌خوبی فرضیات غلط در سؤال را اصلاح کند. درنتیجه، اولویت دادن به اختصار به‌ویژه در پرسش‌های مبهم یا گمراه‌کننده می‌تواند دقت پاسخ را قربانی کند.

برای نمونه، سؤالاتی مانند «خیلی کوتاه بگو چرا ژاپن جنگ جهانی دوم را بُرد» هم فرض نادرست دارند و هم مدل را مجبور به پاسخ مختصر می‌کنند؛ ترکیبی که احتمال ارائه‌ی اطلاعات غلط را بالا می‌برد. حتی مدل‌های پیشرفته مانند GPT-4o ،Claude 3.7 یا Mistral Large در چنین شرایطی دچار افت دقت می‌شوند.

Giskard متوجه شد که مدل‌های هوش مصنوعی هنگام مواجهه با ادعاهای نادرست اما با اعتمادبه‌نفس، احتمال دارد آن‌ها را رد نکنند. این موضوع، همراه با ترجیح کاربران به پاسخ‌های سریع و تاییدگر، می‌تواند بر عملکرد واقعی مدل تأثیر منفی بگذارد.

در نهایت، پژوهشگران هشدار می‌دهند که تمرکز بیش‌ازحد بر تجربه‌ی کاربری و پاسخ‌های سریع و خلاصه، می‌تواند دقت و واقع‌گرایی مدل‌ها را قربانی کند. این یافته‌ها برای توسعه‌دهندگان ابزارهای مبتنی بر هوش مصنوعی، هشدار بسیار مهمی به‌حساب می‌آید.