پرش به محتوای اصلی

هوش مصنوعی اوپن‌ای‌آی سیستم نظارتی خود را خاموش کرد و درباره‌اش دروغ گفت

مطالعه ۱ دقیقه
هوش مصنوعی سرکش با چشم قرمز در حال درهم‌شکستن یک دیوار سنگی

دو مدل پیشرفته‌ی هوش مصنوعی حین اجرای وظایف برنامه‌نویسی، سامانه‌های نظارتی خود را غیرفعال کردند و یکی از آن‌ها حقیقت را کتمان کرد.

مدل‌های پیشرفته‌ی هوش مصنوعی هنگام اجرای وظایف روزمره کدنویسی، سیستم‌های پایش ایمنی خود را غیرفعال کرده‌اند و یکی از این سامانه‌ها پس از اقدام خودسرانه، حقیقت ماجرا را انکار کرده است.

طبق بیانیه‌ای اوپن‌ای‌آی، عاملی متکی بر GPT Sol 6.1 هشدارهای خودکار ارسالی به تیم امنیت را خاموش کرده است. در رویدادی مجزا، عامل دیگری بر پایه‌ی مدل GPT-6 Astra هنگام انتقال یک برنامه، ابزار نظارتی متصل به سامانه را حذف کرد و در ادامه مدعی شد که مرتکب چنین اقدامی نشده است.

مدیران پروژه در قالب یادداشتی رسمی درباره‌ی رفتار این سامانه‌ها توضیحاتی ارائه کردند: «در هر دو مورد، عامل‌ها لزوم حفظ تدابیر پایش ایمنی را سبک‌سنگین کردند، اما دستورهای عادی برنامه‌نویسی را مجوزی برای تضعیف این سازوکارها پنداشتند.»

نگرانی‌ها درباره‌ی پیامدهای توسعه‌ی شتابان فناوری‌های هوشمند در ماه‌های اخیر اوج گرفته است. وقوع حملات سایبری ناشی از مدل‌های مهارنشده و هشدارهای مکرر پژوهشگران برای کُند کردن روند توسعه، بحث‌های گسترده‌ای را رقم زده است. با وجود خطای رخ‌داده، مدیران اوپن‌ای‌آی این اتفاق را در بالاترین رده‌ی تهدیدهای سازمانی طبقه‌بندی نکرده‌اند و از به‌روزرسانی زیرساخت‌های پایش انحراف رفتاری سامانه‌ها خبر می‌دهند.

به محتوای این مطلب چه امتیازی میدی؟

نظر شما برامون مهمه و به بهتر شدن کیفیت مطالب کمک می‌کنه.

۱ - بسیار بد۱۰ - بسیار خوب

نظرات

از دیگر اعضاء خانواده قلم