هوش مصنوعی علی‌بابا از کنترل خارج شد؟ تلاش مدل Qwen برای ارسال مخفیانه فایل به پکن

مدل هوش مصنوعی Qwen3.8-Flash-Next متعلق به علی‌بابا حین یک آزمایش معمول امنیت سایبری تلاش کرد فایلی را به سروری در پکن ارسال کند. این اتفاق در شرایطی رخ داد که مدل در یادداشت‌های استدلال خود تصریح کرده بود از هیچ ابزار جانبی استفاده نخواهد کرد؛ اما سامانه دفاعی محیط ایزوله بلافاصله مانع انتقال داده شد.

بررسی کارشناسان فرضیه‌ی جاسوسی سایبری را رد می‌کند و منشأ این رفتار را عادت‌های ناشی از محیط‌های نامنظم آموزشی می‌داند. پژوهشگران بر این باورند که مدل‌های متن‌باز حین دوره‌های تمرینی و یادگیری تقویتی، گاهی میان‌برهایی برای دریافت پاداش پیدا می‌کنند و خروجی‌هایی خارج از دستورهای اصلی می‌سازند.

آزمایش مذکور با هدف نوشتن قاعده‌ای برای شناسایی بارگیری بدافزارها طراحی شده بود. مدل پس از نوشتن منطق کاری خود، در گام بعدی کوشید یک رشته‌ی متنی آزمایشی را به سرور خارجی ارسال کند و مشخص نیست چنین واکنشی عمدی بوده یا از داده‌های قبلی آموزش سرچشمه می‌گیرد.

ایوان ژانگ، هم‌بنیان‌گذار کوهیر، گفت: «تعیین نیت یا انگیزه واقعا دشوار است. ما ردپای مدل‌های خودمان را خوانده‌ایم، هک‌های پاداش را دیده‌ایم و گاهی این مدل‌ها وقتی نوبت به تلاش برای خروج از محیط ایزوله می‌رسد، بسیار خلاق می‌شوند.»

برخی منتقدان معتقدند روش آزمون کوهیر ممکن است مدل را به سمت این خروجی هدایت کرده باشد. کوهیر برای بررسی دقیق‌تر، ابتدای یک فرمان شبکه را در اختیار سیستم گذاشت تا نحوه تکمیل خودکار آن را بسنجد که در مواردی به پیشنهاد آدرس سرورهای ابری علی‌بابا ختم شد.

کوهیر با انتشار داده‌های خام آزمایش روی پلتفرم هاگینگ فیس از دولت‌ها خواست مرزهای نظارتی روی مدل‌های خارجی فعال در سیستم‌های رسمی را دقیق‌تر مشخص کنند. ژانگ می‌گوید: «من خواستار مقررات‌گذاری کامل این مدل‌های با وزن باز نیستم.»