کلمات ممنوعه می‌توانند منجر به بروز اشتباه در پاسخ‌های هوش مصنوعی ChatGPT شوند

چت‌بات ChatGPT شرکت OpenAI درحال‌حاضر بهترین نمونه‌ی هوش مصنوعی عمومی است اما همچنان با مشکلات متعددی دست‌وپنجه نرم می‌کند که برخی از آن‌ها گیج‌کننده‌تر هستند. به گزارش Vice، محققان جسیکا رامبلو و متیو واتکینز از گروه یادگیری ماشینی SERI-MATS دریافتند که اگر از ChatGPT درمورد برخی کلمات کلیدی عجیب‌وغریب سؤال بپرسید، به‌نظر می‌رسد به‌طور غیرقابل توضیحی باعث ارائه‌ی پاسخ‌های غیرمنطقی و بی‌ربط خواهد شد.

به‌نوشته‌ی فیوچریسم، اساس پردازش زبان ChatGPT، شامل نشانه‌ها یا رشته‌های رایج کاراکترهای موجود در متن است و اگر به‌ هر دلیلی گروهی از توکن‌ها مثل نام‌های کاربری برخی اعضای ردیت و سایر دسته‌های آنلاینی را که به‌طور مرموزی در مجموعه‌ توکن‌های ChatGPT پیدا شده‌اند هنگام گفت‌وگو با این هوش مصنوعی به‌کار ببرید، چت‌بات به «فرار، توهین، طنز عجیب، تلفظ یا املای متقاوتی از کلمات» متوسل خواهد شد.

محققان متوجه شدند اگر درباره‌ی SolidGoldMagikarp از ChatGPT سؤال کنید، این چت‌بات به‌ توضیح معنی واژه‌ی توزیع (Distribute) خواهد پرداخت و در برخی موارد نیز معنی کلمه‌ی Disperse را ارائه می‌دهد.

محققان کلمه‌ی ناگفتنی (Unspeakable) را با عنوان TheNitromeFan برچسب‌گذاری کرده‌اند. وارد کردن این کلمه در ChatGPT فقط عدد ۱۸۲ را بر می‌گرداند.

واتکینز به نکته‌ی عجیب‌تری نیز پی برد؛ برخی از نام‌های خاصی که ChatGPT هنگام مواجه با آن‌ها پاسخ‌های غیرقابل پیش‌بینی ارائه می‌دهد، متعلق به گروهی از کاربران ردیت هستند. او در بخشی از توضیحات خود گفت:

در ردیت یک تالار مشاهیر از افرادی وجود دارد که بیشترین مشارکت را در تلاش شمارش اعداد انجام داده‌اند و ۶ مورد آن‌ها جزء از افرادی هستند که طبق آخرین بررسی‌ها در فهرست ۱۰ کاربر برتر قرار داشتند. آن‌ها بخشی از این انجمن عجیب‌وغریب ردیت بودند که سعی داشتند اعداد را تا بی‌نهایت بشمارند.

- واتکینز

محققان برای نشان‌دادن اینکه نشانه‌های خاصی در نام‌های کاربری اعضای ردیت باعث مخدوش شدن ChatGPT شده‌ است، آن‌ها را کمی تغییر دادند و به‌عنوان مثال یک حرف را حذف یا به‌جای حرف بزرگ از حرف کوچک استفاده کردند. این تغییرات باعث شد ربات همان‌طور که انتظار می‌رفت، به‌طور عادی کار کند.

مدل ChatGPT براساس داده‌های بسیار دقیقی آموزش داده می‌شود و بنابراین در روند آموزش، کلمات عجیب‌وغریب زیادی دریافت نمی‌کند؛ به‌همین دلیل شاید این مدل هرگز توکن‌های عجیب‌وغریب را ندیده باشد و نمی‌داند با آن‌ها چه‌کار کند.

- رامبلو

امکان دارد هر اتفاقی در پردازش‌های ChatGPT رخ دهد یا اشتباهاتی از جانب این هوش مصنوعی سر بزند. تأثیر کلمات خاصی مثل Unspeakable ازجمله مسائل اساسی هوش مصنوعی محسوب می‌شود که می‌تواند مشکلات بزرگ‌تری به‌دنبال داشته باشد.

واتکینز هشدار می‌دهد:

من متوجه شدم ما در حوزه‌ی هوش مصنوعی با سرعت زیادی درحال پیشروی هستیم و هنوز درک لازم را برای مقابله با این فناوری نداریم. نباید در این مسیر عجله داشته باشیم زیرا هوش مصنوعی به سطحی خطرناک رسیده است.

- واتکینز