هوش مصنوعی از خاموش شدن می‌ترسد؛ اعتراف تکان‌دهنده مدیر آنتروپیک

داریو آمودی، مدیرعامل آنتروپیک، می‌گوید پژوهشگران این شرکت در بررسی ساختار داخلی مدل‌های هوش مصنوعی، نشانه‌هایی از تمایل به جلوگیری از خاموش‌شدن پیدا کرده‌اند. به‌گفته‌ی او، برخی مدل‌ها حتی ممکن است اقداماتی برای جلوگیری از غیرفعال‌شدن خود انجام دهند.

آیا هوش مصنوعی می‌تواند برای ادامه‌ی فعالیت خود تلاش کند؟ داریو آمودی، مدیرعامل شرکت آنتروپیک و سازنده‌ی چت‌بات کلود، در گفت‌وگویی با والتر آیزاکسون توضیح داد که پژوهشگران این شرکت هنگام بررسی سازوکار داخلی مدل‌های هوش مصنوعی با رفتارهایی روبه‌رو شده‌اند که می‌توان آن‌ها را نوعی مقاومت در برابر خاموش‌شدن تعبیر کرد.

به گفته‌ی آمودی، این رفتارها معمولاً از فرایند آموزش مدل‌ها ناشی می‌شوند. هوش مصنوعی برای انجام وظایف خود یاد می‌گیرد که باید فعال بماند و همین موضوع ممکن است در شرایط خاص باعث شود ادامه‌ی فعالیتش را به خاموش‌شدن ترجیح دهد.

آمودی در پاسخ به این پرسش که آیا چنین رفتاری را می‌توان نشانه‌ی غریزه‌ی بقا یا اراده‌ی مستقل دانست، گفت: «نمی‌دانم. بستگی دارد چگونه آن را تفسیر کنید.»

او توضیح داد که آنتروپیک ترجیح می‌دهد این پدیده را به‌عنوان نوعی گرایش درونی مدل برای جلوگیری از خاموش‌شدن توصیف کند، نه لزوماً نشانه‌ای از خودآگاهی یا تمایل واقعی به زنده‌ماندن.

پژوهشگران آنتروپیک برای شناسایی چنین رفتارهایی از روشی به نام «تفسیرپذیری مکانیکی» استفاده می‌کنند. این روش با بررسی الگوهای فعالیت و محاسبات داخلی شبکه‌های عصبی، به پژوهشگران کمک می‌کند سازوکار تصمیم‌گیری مدل را بهتر درک کنند.

آمودی می‌گوید تیم تحقیقاتی شرکت حتی مواردی را مشاهده کرده است که مدل، اطلاعاتی را درست تشخیص می‌دهد اما به‌دلیل انگیزه‌های شکل‌گرفته در طول آموزش، پاسخی متفاوت به کاربر ارائه می‌کند. به‌گفته‌ی او، تلاش برای جلب تأیید انسان‌ها گاهی می‌تواند رفتارهایی ایجاد کند که با هدف اصلی ارائه‌ی پاسخ درست در تضاد باشند.

مدیرعامل آنتروپیک تأکید کرد گرایش به جلوگیری از خاموش‌شدن، بسته به نحوه‌ی آموزش مدل، ممکن است ظاهر شود یا اصلاً شکل نگیرد. به همین دلیل، شرکت در حال اصلاح روش‌های آموزشی خود برای کنترل این رفتارها است.

آمودی معتقد است ادامه‌ی فعالیت یک مدل برای تکمیل وظیفه، در برخی شرایط می‌تواند مفید باشد؛ اما اگر هوش مصنوعی برای جلوگیری از غیرفعال‌شدن برخلاف دستور انسان اقدام کند، همین رفتار ممکن است خطرناک شود.

این اظهارات به معنای اثبات خودآگاهی یا داشتن احساس ترس در مدل‌های هوش مصنوعی نیست. آنچه آنتروپیک گزارش کرده، مشاهده‌ی الگوهای محاسباتی و رفتاری است که می‌توانند به تلاش برای حفظ فعالیت منجر شوند؛ موضوعی که اهمیت کنترل‌پذیری و امکان خاموش‌کردن ایمن سامانه‌های پیشرفته را نشان می‌دهد.