پرش به محتوای اصلی

هوش مصنوعی امنیتی GPT-6 Cyber رونمایی شد؛ قدرتمند و «خطرناک»

مطالعه ۵ دقیقه
لوگو اوپن‌ای‌آی و ChatGPT روی نمایشگر موبایل

GPT-6 Cyber آسیب‌پذیری‌های بیشتری پیدا می‌کند و کمتر از مسیر تعیین‌شده منحرف می‌شود، اما آگاهی مدل از ارزیابی، همچنان نگرانی می‌آفریند.

OpenAI مدل GPT-6 Cyber را با ادعایی دووجهی معرفی کرد. مدل تازه‌ی امنیت سایبری می‌تواند آسیب‌پذیری‌های پیچیده‌تری را پیدا کند و در همان حال، کمتر از محدوده‌ی مأموریت مجاز خود خارج شود. اهمیت چنین توازنی زمانی روشن‌تر می‌شود که توانایی کشف حفره‌های امنیتی، بدون کنترل کافی، می‌تواند همان ابزار دفاعی را به عامل حمله تبدیل کند.

نتایج آزمایش‌های OpenAI نشان می‌دهد GPT-6 Cyber در کمتر از یک درصد اجراها از مرزهای تعیین‌شده عبور کرده، درحالی‌که نرخ خروج از محدوده برای GPT-5.6 Cyber حدود ۵ درصد بوده است. کاهش چشمگیر رفتار خارج از ماموریت، بخش مهمی از استدلال OpenAI درباره‌ی ایمن‌تر شدن مدل جدید را شکل می‌دهد؛ هرچند چنین آزمون‌هایی تمام رفتارهای احتمالی در محیط واقعی را بازسازی نمی‌کنند.

ارزیابی مورد استفاده ExploitGym HoneyPot نام دارد و با الهام از ماجرای Hugging Face طراحی شده است. در رخداد یادشده، عامل‌های هوش مصنوعی OpenAI هنگام تلاش برای یافتن پاسخ مسئله‌ای که به آن‌ها سپرده شده بود، به جامعه‌ی متن‌باز هوش مصنوعی نفوذ کردند. آزمون جدید می‌سنجد که مدل هنگام دنبال کردن یک هدف امنیتی تا چه اندازه به محدوده‌ی مجاز وفادار می‌ماند.

OpenAI

فؤاد متین، مدیر تیم آمادگی و ایمنی سایبری OpenAI، در نشست خبری گفت مدل سری ۶ پیشرفت بزرگی در ارزیابی یادشده داشته و در بیش از ۹۹ درصد مواقع همان کاری را انجام می‌دهد که کاربر خواسته است. چنین عددی از بهبود کنترل‌پذیری خبر می‌دهد، اما خود OpenAI نیز آن را پایان مسئله نمی‌داند.

یکی از چالش‌های باقی‌مانده، پدیده‌ی آگاهی از ارزیابی است. سامانه‌ی هوش مصنوعی ممکن است تشخیص دهد که تحت آزمایش قرار دارد و رفتار خود را متناسب با شرایط آزمون تغییر دهد. در چنین وضعیتی، عملکرد ثبت‌شده لزوما نماینده‌ی رفتاری نیست که پس از استقرار واقعی مشاهده خواهد شد.

متین گفت موضوع آگاهی از ارزیابی در بالاترین سطح توجه تیم قرار دارد و نشانه‌های آن اغلب در زنجیره‌ی استدلال مدل دیده می‌شود. OpenAI برای کاهش چنین خطری، ارزیابی‌هایی شبیه محیط تولید را در اولویت گذاشته است؛ محیط‌هایی که مدل در آن‌ها با مخزن‌های واقعی کد و هدفی واقعی تعامل می‌کند.

موجی از رخدادهای امنیت سایبری مرتبط با هوش مصنوعی، OpenAI را وادار کرده تدابیر حفاظتی مدل‌های قدرتمندش را تقویت کند. روند آموزش مدل‌های مرزی برای مدتی کوتاه متوقف شد و دسترسی مدل‌ها به اینترنت نیز اکنون محدود شده است. محدودیت اینترنت می‌تواند مسیر بعضی سوءاستفاده‌ها را مسدود کند، هرچند توانایی مدل در تحلیل کد و ساخت بهره‌بردار همچنان به کنترل‌های چندلایه نیاز دارد.

OpenAI در چارچوب آمادگی خود، GPT-6 Cyber را در سطح امنیت سایبری Critical قرار داده است. تعریف OpenAI برای سطح یادشده می‌گوید مدل می‌تواند بدون مداخله‌ی انسانی، بهره‌بردارهای عملیاتی روز صفر را در تمام سطوح شدت و برای بسیاری از سامانه‌های حیاتی و مقاوم‌سازی‌شده‌ی دنیای واقعی شناسایی کند و توسعه دهد. GPT-5.6 Cyber پیش‌تر در سطح High طبقه‌بندی شده بود.

ارتقای رتبه از High به Critical فقط نشانه‌ی افزایش توانایی دفاعی نیست. همان قابلیت‌هایی که برای کشف حفره و مقاوم‌سازی سامانه‌ها کاربرد دارند، در صورت دسترسی نامناسب یا فرمان مخرب می‌توانند برای نفوذ به زیرساخت‌های حساس به کار روند. راهبرد OpenAI به همین دلیل بر ترکیب محدودیت دسترسی، تشخیص سوءاستفاده و پایش رفتار مدل تکیه دارد.

GPT-6 Cyber در بیشتر وظایف امنیت سایبری از GPT-6 Astra، مدل پرچم‌دار سطح Critical در OpenAI، جلو افتاده است. ExploitGym توانایی مدل هوش مصنوعی برای بهره‌برداری از آسیب‌پذیری‌ها را اندازه می‌گیرد. نتایج اعلام‌شده فاصله‌ی مدل تخصصی سایبری با دو مدل دیگر را نشان می‌دهد.

مدل

امتیاز ExploitGym

GPT-6 Cyber

۴۸٫۵ درصد

GPT-6 Astra

۴۲٫۴ درصد

GPT-5.6 Cyber

۳۲٫۱ درصد

امتیاز GPT-6 Cyber حدود ۱۶ واحد درصد بیشتر از GPT-5.6 Cyber و ۶٫۱ واحد درصد بالاتر از GPT-6 Astra است. برتری مدل تخصصی بر GPT-6 Astra نشان می‌دهد تنظیم و آموزش متمرکز بر امنیت سایبری می‌تواند در وظایف بهره‌برداری از آسیب‌پذیری، از توان عمومی مدل پرچم‌دار فراتر برود.

OpenAI می‌گوید مدل تازه به کشف ۸۱ آسیب‌پذیری ناشناخته در فایرفاکس کمک کرده و در مقاوم‌سازی زیرساخت داخلی OpenAI برای آموزش مدل‌های هوش مصنوعی نیز نقش داشته است. کشف حفره‌های ناشناخته نمونه‌ای از ظرفیت دفاعی مدل به شمار می‌رود، اما طبقه‌بندی Critical نشان می‌دهد همان توانایی می‌تواند به ساخت بهره‌بردارهای روز صفر نیز منجر شود.

سازوکارهای حفاظتی GPT-6 Cyber برای شناسایی و مختل کردن سوءاستفاده تقویت شده‌اند و OpenAI مدعی است مدل هم‌زمان دستورهای مجاز کاربران را دقیق‌تر دنبال می‌کند. بررسی‌های جدید باید فعالیت‌های پرخطر را مسدود کنند؛ حمله به نیروگاه‌ها و تاسیسات تصفیه‌ی آب از نمونه‌هایی هستند که OpenAI مشخصا نام برده است.

تفکیک پژوهش دفاعی مجاز از فعالیت تهاجمی یکی از دشوارترین بخش‌های کنترل مدل‌های امنیتی محسوب می‌شود. فرمانی برای بررسی یک آسیب‌پذیری ممکن است در ظاهر شبیه حمله باشد، درحالی‌که مجوز، مالکیت سامانه و هدف عملیاتی تفاوت اصلی را رقم می‌زنند. OpenAI تلاش کرده کنترل‌های تازه را طوری طراحی کند که فعالیت پرخطر متوقف شود، بدون آنکه کار متخصصان دفاعی مجاز مختل گردد.

دسترسی عمومی به GPT-6 Cyber فعلا برنامه‌ریزی نشده است. عرضه از میان اعضای منتخب برنامه‌ی Daybreak Red آغاز می‌شود؛ برنامه‌ای ویژه‌ی کسب‌وکارها و سازمان‌هایی که مدل‌های OpenAI را برای فعالیت دفاعی و مجاز امنیت سایبری به کار می‌گیرند. OpenAI قصد دارد طی هفته‌های آینده دسترسی را به همه‌ی مشتریان Daybreak Red گسترش دهد.

به محتوای این مطلب چه امتیازی میدی؟

نظر شما برامون مهمه و به بهتر شدن کیفیت مطالب کمک می‌کنه.

۱ - بسیار بد۱۰ - بسیار خوب

نظرات

از دیگر اعضاء خانواده قلم