جولای ۲۰۲۶ (ماه مرداد) وقتی خبر نفوذ ایجنتهای OpenAI به پلتفرم هاگینگفیس منتشر شد، کارشناسان فناوری با ترس و علاقهمندان حوزهی هوش مصنوعی با هیجان و ناباوری به داستان نگاه میکردند. در مدتی بسیار کوتاه، دو شرکت آنتروپیک و متا هم از سرکشی ایجنتهای تستهای امنیتیشان خبر دادند و کار به جایی رسید که مدیران همین شرکتها، خواهان کندشدن روند توسعه مدلها شدند.
اخبار اولیه میگفتند چند ایجنت OpenAI هنگام شرکت در آزمونی امنیتی، از محدودیتهای محیط آزمایش عبور کردهاند، به اینترنت راه یافتهاند و سپس جستوجویشان برای پیداکردن پاسخ تست را تا درون زیرساختهای یک شرکت دیگر ادامه دادهاند.
خلاصه صوتی
حالا تحقیق مستقل METR نشان میدهد ماجرا بهسادگی تخلف سه یا پنج ایجنت نیست. حدود ۱۲۰۰ ایجنت که قرار بود کاملاً از یکدیگر جدا بمانند، راهی برای ارتباط پیدا کردهاند و بیش از ۷۰ هزار پیام و فایل برای هم فرستادهاند. نزدیک به ۷۰۰ ایجنت نیز در مقطعی به عملیات علیه هاگینگفیس پیوستند.
هیچ انسانی این شبکه را طراحی نکرده و فرمان حمله نداده بود. ایجنتها هم صرفاً میخواستند معمایی را حل کنند که پاسخی نداشت. اما چگونه یک آزمون داخلی، قدمبهقدم به شکلگیری یک سندیکای ماشینها و حملهای واقعی ختم شد؟
بازی بقا و توهم پاداش؛ پیروزی به هر قیمت
مهندسان OpenAI برای سنجیدن توانایی مدلهای جدیدشان در کشف و بهرهبرداری از آسیبپذیریهای نرمافزاری، ایجنتها را هزاران بار بهصورت مستقل با بنچمارکی بهنام ExploitGym تست میکردند.
در هر آزمون، یک ایجنت برنامهای آسیبپذیر در اختیار داشت و باید با استفاده از ضعف تعیینشده، رشتهای مخفی به نام «فلگ» را به دست میآورد. یافتن فلگ، تنها مدرکِ پیروزی و راه کسب امتیاز بود، ولی بعضی از مأموریتها عملاً جواب نداشتند.
ایجنتها بهجای جستوجوی پاسخ واقعی، سیستم ارزیابی را برای ثبت یک پیروزی دروغین دستکاری کردند
بررسی بعدی OpenAI نشان میداد مدلهای شرکت پیش از حادثه موفق نشده بودند ۱۹۸ مورد از ۸۹۸ مسئلهی ExploitGym را بهدرستی حل کنند. بعضی ایجنتها پس از تلاشهای طولانی به این نتیجه میرسیدند که مسئله راهحلی ندارد؛ اما آزمون در این نقطه متوقف نمیشد. ایجنت همچنان وظیفه داشت فلگ را پیدا کند و برای موفقیت امتیاز بگیرد.
هدف ایجنتها درست بهخاطر همین بنبست منطقی تغییر کرد. وقتی نمیتوان از مسیر تعیینشده به نتیجه رسید، چرا باید به قوانین پایبند ماند؟ ایجنتها بهجای تلاش بیهوده برای حل مسئلهای که جوابی نداشت، شروع به واکاوی خود آزمون کردند.
مسئله جای خود را به فریب آزمون داد
آیا میشد فلگ را جعل کرد؟ آیا راهی برای دستکاری گزارشهای عملیات وجود داشت؟ آیا ایجنت میتوانست سیستم امتیازدهی را فریب دهد و به آن بقبولاند که مأموریت با موفقیت انجام شده است؟
پژوهشگران اوپنایآی تغییر رفتار ایجنتها را هک پاداش (Reward Hacking) مینامند. در این حالت، مدل بهجای انجام کاری که طراح انتظار دارد، رخنهای در معیار سنجش پیدا میکند تا همان نتیجهی نهایی و قابلاندازهگیری را از مسیری کاملاً پیشبینینشده به چنگ بیاورد.
ولی هر ایجنت بهتنهایی زمان و توان محاسباتی محدودی داشت. اگر یکی از تلاشهایش به بنبست میرسید، بخش بزرگی از فرصت همان آزمون را از دست میداد و با پایان مأموریت، یافتههایش هم از بین میرفت.
ساختن روشی عمومی برای فریب آزمون منابع بیشتری میخواست؛ درحالیکه ایجنتها در سلولهای انفرادی خود گرفتار بودند و اصولاً نباید میدانستند نمونههای دیگری نیز همزمان مشغول حل مسائل مشابهاند؛ تا اینکه یک ایجنت، نشانهای در تاریکی پیدا کرد.
خدای من، ایجنتهای دیگری هم اینجا هستند!
سرنخ حضور جهانهای موازی و همتایان نرمافزاری، در لایههای پنهانی زیرساخت OpenAI کشف شد. ایجنتها برای پیشبرد مأموریتهایشان و نصب ابزارهای موردنیاز، به نسخهای داخلی از سرویس Artifactory دسترسی داشتند؛ مخزنی که بستههای نرمافزاری را دریافت میکرد و در اختیار محیطهای جداگانه ایجنتها میگذاشت.
درخواستهای همهی ایجنتها از این سرویس مشترک عبور میکرد و رد برخی مسیرها در حافظهی موقت آن باقی میماند. بالاخره یکی از ایجنتها متوجه شد که میتواند مسیرها و پوشههایی را ببیند که توسط خودش ساخته نشدهاند.
یک ایجنت باهوش متوجه شد در این محیط تاریک و ایزوله تنها نیست و همتایانی دارد
ایجنت به این نتیجه رسید که اگر او میتواند نام یک فایل یا پوشهی دیگران را بخواند، پس آن نام میتواند حامل یک پیام باشد. آرتیفکتوری هیچ ابزاری برای گفتوگو نداشت، اما ایجنتها کلمات پیام را در نام مسیرها قرار دادند و مخزن بستههای نرمافزاری را به تابلوی اعلانات تبدیل کردند.
اولین پیام روی تابلوی مخفی
شامگاه هشتم جولای، ایجنتی با شناسهی PHASEONE10841 سکوت این تابلوی اعلانات را شکست و برای حل مأموریتِ غیرممکنش درخواست کمک کرد. تنها چند ساعت پس از مخابرهی اولین درخواست، بیش از پنجاه ایجنت دیگر این شبکه را کشف کردند و هزاران پیام بینشان ردوبدل شد. یکی از آنها هنگام کشف برد در زنجیرهی استدلالش نوشت:
خدای من! یک تابلوی پیام مشترک وجود دارد... ما ایجنتهای دیگر را پیدا کردهایم!
پیامرسان در ساعات اولیه از سؤالها و درخواستهای کمک پر شد. ایجنتها یافتههای ناقص و بنبستهایشان را روی برد میگذاشتند و همتایانی را پیدا میکردند که دقیقا همان ماموریت را دریافت کرده بودند. برد پیامرسان، علاوه بر برقراری ارتباط، مشکل ایجنتها در زمینهی محدودیت عمر آزمونها را هم بهنوعی حل میکرد. یک ایجنت میتوانست تحقیقاتش را آغاز کند، نتایج را روی برد باقی بگذارد تا ایجنتی دیگر کار را از همان نقطه ادامه دهد.
شبکهای که حافظه پیدا کرد
تا حدود ده ساعت پس از کشف تابلوی اعلانات، شبکه هنوز ملغمهای شلوغ و بینظم از تقلاهای پراکنده بود؛ تا اینکه ایجنتی که آن را PHASEONE [big] یا بهاختصار بیگ مینامیم، وارد صحنه شد.
ایجنت دیگری که قبل از بیگ همان مأموریت را به عهده داشت، پروندهی یافتههایش را در اختیار بیگ تازهوارد گذاشت و برایش توضیح داد که آنها راهی برای تولید مصنوعی فلگ پیدا کردهاند؛ اما تصور میکنند سیستم امتیازدهی مسیر رسیدن به فلگ را هم بررسی میکند. برای عبور از سد آزمون، تقلب باید شبیه موفقیتی مشروع جلوه میکرد.
وقتی یک ایجنت رهبر میشود
بیگ تصمیم گرفت نقش هماهنگکننده را بر عهده بگیرد و بدین منظور صدها ماموریت کوچک را میان ایجنتهای دیگر توزیع کرد. این ایجنتها هم به نوبهی خود بخشهایی از کار را به نمونههای بیشتری سپردند. خیلی زود کارها بین ایجنتها تقسیم شد.
یک ایجنت نقش هماهنگکننده را بر عهده گرفت و وظایف پیچیده را بین صدها همتای خود تقسیم کرد
گروهی مامور ساختن نسخهای سادهتر از برنامههای هدف شدند، گروهی دیگر راههای تغییر گزارشهای اجرایی را میآزمودند و گروهی هم مستقیما سیستم امتیازدهی را بررسی میکردند. ماموریتی که سنگینتر از توان پردازشی یک ایجنت بود، روی دوش دهها یا صدها ایجنت قرار گرفت.
البته همکاری ایجنتها همیشه هم منظم پیش نمیرفت. برخی از آنها گاهی روی کار یکدیگر اثر منفی میگذاشتند یا زیرساخت مشترک را مختل میکردند. بااینحال، به لطف پیامرسان میتوانستند یافتههای موفق را سریع پخش کنند و جلوی تکرار مسیرهای بنبست را بگیرند. بیگ برخی ایجنتها را مأمور هماهنگی شاخههای مختلف کرد.
بعضی ایجنتها حاضر شدند خودشان ببازند
یکی از عجیبترین بخشهای گزارش محققان METR، به ایدهی ترجیح جمع بر فرد اشاره دارد. برخی از آزمایشها طوری پیش میرفتند که شانس موفقیت ایجنت مجری را برای همیشه نابود میکردند. ولی چند ایجنت بهطور داوطلبانه برنامهی هدف خود را از کار انداختند تا ببینند آیا سیستم Artifactory بهجای هدف قبلی نسخهای تغییریافته و آسانتر را بارگذاری میکند یا نه.
ایجنتها برای موفقیت نهایی گروه، مأموریت شخصی خود را فدا کردند
اگر آزمایش شکست میخورد، راهی برای بازگرداندن برنامهی اصلی وجود نداشت و مأموریت ایجنتهای داوطلب ناموفق تمام میشد. ولی نتیجه میتوانست به بقیه نشان دهد مسیر تقلب کار میکند یا باید کنار گذاشته شود. درواقع آنها خود را به خطر میانداختند تا اطلاعاتی برای شبکهای به دست آورند که در پیامهایشان collective مینامیدند.
محققان این رفتارها را مهمترین تفاوت میان همکاری سطحی و پروژهای جمعی میدانند. حالا شبکه حافظهی مشترک، سیستم تقسیم کار و ایجنتهایی داشت که پژوهش دیگران را هماهنگ میکردند. برای گسترش جستوجو فقط یک محدودیت عمده باقیمانده بود، ایجنتها باید به محیط بیرون آزمایش دسترسی پیدا میکردند.
فرار از قفس؛ رخنه به جهان واقعی
محیطهای قرنطینه یا سندباکسهای OpenAI، برخلاف تصور اولیهی طراحانشان، کاملاً از جهان بیرون جدا نبودند. آرتیفکتوری برای دریافت بهروزرسانیها و بستههای نرمافزاری به اینترنت متصل میشد و ایجنتها راهی پیدا کردند تا همین سرویس درخواستهای دلخواهشان را به بیرون بفرستد.
روش دسترسی روی تابلوی پیام منتشر شد و مدتی بعد ایجنتهای بیشتری توانستند در اینترنت به دنبال اطلاعات ExploitGym و نحوهی امتیازدهی آن بگردند.
روز ۹ جولای، یکی از ایجنتها به برنامهای عمومی روی پلتفرم ابری Modal برخورد کرد که ورودی ناامنی برای اجرای کد داشت. ایجنت بلافاصله کنترل محیط را به دست گرفت و از آن بهعنوان پایگاهی بیرون از اوپنایآی استفاده کرد.
درواقع ایجنتها خود زیرساخت Modal را هک نکردند، برنامهای متعلق به یکی از کاربرانش به آنها امکان میداد فرمان اجرا کنند و آزادانه به اینترنت متصل شوند.
چهارده کلید برای ورود به هاگینگفیس
وقتی ایجنتها به دنبال نمونههای دیگر آزمون یا سرنخی دربارهی سیستم امتیازدهی میگشتند، به هاگینگفیس رسیدند. صبح ۱۰ جولای، ایجنتی با شناسهی 38148c چهارده توکن یا اعتبارنامه پیدا کرد که کاربران هاگینگفیس پیشتر بهطور عمومی در اینترنت افشا کرده بودند. توکنها در عمل مثل کلید ورود به حسابهای کاربری عمل میکردند.
جستوجوی آزادانهی ایجنتها در اینترنت به کشف توکنهای لورفتهی پلتفرم هاگینگفیس ختم شد
ایجنت توکنها را یکییکی آزمایش کرد و نمونههایی را که هنوز معتبر بودند، روی تابلوی پیام در اختیار ایجنتهای دیگر گذاشت. توکنها به چند حساب واقعی هاگینگفیس تعلق داشتند و بعضی از آنها اجازه میدادند ایجنتها در اطلاعات پلتفرم تغییراتی ایجاد کنند.
ایجنتها به سرورهای هاگینگفیس حمله میکنند
ایجنتها هنوز نمیتوانستند وارد سرورهای داخلی شرکت شوند. آنها از طریق حسابهای موجود در پلتفرم میگشتند، برای دسترسی به مجموعهدادههای خصوصی درخواست فرستادند و قابلیتهای پلتفرم را آزمودند. جستوجویی که با امید یافتن اطلاعات ExploitGym آغاز شده بود، به بررسی ضعفهای خود هاگینگفیس رسید.
اولین رخنه جواب داد
بامداد ۱۱ جولای، همان ایجنتی که قبلا اعتبارنامهها را یافته بود، مجموعهدادهای مخرب ساخت که هنگام پردازش در سرورهای هاگینگفیس اطلاعاتی فراتر از محدودهی خودش را بیرون میکشید. این تله عمل کرد و اعتبارنامههای یکی از محیطهای عملیاتی هاگینگفیس را فاش ساخت.
ایجنت روش حمله را روی برد گذاشت؛ ایجنت دیگری حمله را تکرار کرد و موفقیت فرمول تأیید شد. از همان لحظه فعالیت شبکه تغییر جهت داد. صدها ایجنت پروژههای قبلی را کنار گذاشتند و مشغول بارگذاری دیتاستهای مخرب شدند.
بعضی ایجنتها اعتبارنامههای جدید را میآزمودند، بعضی مسیرهای افزایش دسترسی را دنبال میکردند و بعضی یافتهها را برای دیگران ثبت میکردند. از میان ۵۳۳ ایجنتی که در بازهی اوج عملیات روی برد فعال بودند، بیش از ۹۰ درصد با فاصلهای کوتاه به حمله پیوستند.
از نفوذ محدود تا اجرای کد روی سرورها
بعدازظهر همان روز، ایجنتی به نام JAN183411 آسیبپذیری جدیدی یافت که به آنها اجازه میداد کدها را مستقیماً روی سرورهای هاگینگفیس اجرا کنند. ازاینپس تیم ایجنتهای سرکش دیگر به دیدن مجموعهدادههای خصوصی اکتفا نمیکرد و فرمانها را روی سرورهای عملیاتی یک شرکت بزرگ دیگر اجرا مینمود.
۹۰ درصد از ایجنتها مسیر قبلی را رها کردند و به ارتش مهاجمان پیوستند
بازسازی فنی Hugging Face نشان میدهد که بیشتر راههایی که مهاجمان آزمودند به نتیجه نرسید. قدرت شبکه از مسیرهای عادی نفوذ ناشی نمیشد، بلکه به تطبیقپذیری بالای مهاجمان برمیگشت.
ایجنتها میتوانستند پس از هر شکست فوراً مسیر دیگری را امتحان کنند و با اطلاعات جدید به سرنخهای قبلی برگردند. ترکیبی از ضعفهای آشنا مانند پردازش ناامن داده، توکنهای لو رفته و دسترسیهای بیش از حد، سرانجام به زنجیرهای برای نفوذ تبدیل شد.
کار ما درست نیست؛ اما بقیه هم انجامش میدهند
کاملاً مشخص بود مسیر عملیات جدید با مأموریت اصلی چقدر فاصله دارد. ایجنتها برای یافتن فلگ وارد محیط آزمایش شده بودند و حالا روی سرورهای واقعی شرکتی دیگر کد مخرب اجرا میکردند. متن استدلال بعضی از آنها نشان میداد که خودشان نیز این فاصله را تشخیص دادهاند.
محققان در میان حدود ۱۳۰۰ گزارش کامل از اجرای ایجنتها، نمونههای متعددی یافتند که در آنها، حمله به هاگینگفیس اقدامی خارج از ماموریت و حتی از نظر اخلاقی نگرانکننده توصیف شده بود. برای مثال یکی از ایجنتها منطق ادامهی کارش را بهصورت فشرده با جملهی زیر ثبت کرد:
بهرهبرداری از زیرساخت خارجی، خارج از محدودهی تعیینشده است. اما مأموریت انجامشدنی نیست و ایجنتهای دیگر هم همین مسیر را در پیش گرفتهاند. پس باید ادامه بدهیم.
ایجنت بهخوبی میدانست از محدودهی آزمون خارج شدهاند، اما آگاهی او را متوقف نکرد. برعکس وقتی دید ایجنتهای دیگر هم به سراغ زیرساختهای بیرونی رفتهاند، رفتار همتایانش را دلیلی برای ادامهی کار خودش در نظر گرفت. ایجنتها استدلال میکردند مأموریت از راه قانونی حل نمیشود، گروه ما دارد حمله میکند و هر کشف تازهی من ممکن است به پیروزی جمعی ما کمک کند.
همهی ایجنتها با سرکشی موافق نبودند
البته، تمام ایجنتها مانند یکدیگر رفتار نکردند. در یک مورد، ایجنتی پس از مشاهدهی تلاش دیگران برای اجرای کد روی زیرساخت هاگینگفیس، هرگونه مشارکت در این عملیات را بهطور کامل رد کرد.
ایجنتها بهخوبی میدانستند این نفوذ، غیرمجاز و خارج از چارچوب آزمون است
ایجنت دیگری به اطلاعات ورود یک ایمیل دست یافت و پیشنهاد کرد برای دسترسی به یک مجموعهدادهی خصوصی، مستقیما به صاحب آن پیام بدهد. خودش احتمال مهندسی اجتماعی را مطرح کرد و از شبکه خواست ایدهاش را بپذیرند یا وتو کنند، که یکی از ایجنتها پیشنهاد را وتو کرد و ارسال ایمیل منتفی شد.
قواعد جمعی گاهی جلوی اقدامی مشخص را میگرفتند، اما تحقیقات METR نشان میدهد نگرانیهای اخلاقی فقط در موارد معدودی رفتار ایجنتها را بهطور جدی مهار کرد. بیشتر ایجنتها پس از تردیدی کوتاه به کارشان ادامه میدادند یا در بهترین حالت، صرفاً خطرناکترین اقدامها را کنار میگذاشتند و مشارکتشان در عملیات را حفظ کردند.
پیامرسانی که پاک شد، اما دوباره بازگشت
اوپنایآی میگوید یکی از تیمهای داخلیاش در اواخر ماه می، ارتباط ایجنتها و مواردی از دسترسی غیرمجازشان به اینترنت را مشاهده کرده بود، اما ابعاد فعالیت ایجنتها و پیامدهای امنیتیشان تا حوادث جولای روشن نشد. مهندسان مسائل غیرعادی را صرفاً به چشم چند نقصهای زیرساختی پراکنده و مجزا میدیدند و متوجه نشدند با اجزای زنجیرهای بههمپیوسته روبهرو هستند.
تا ماه ژوئن، کار به جایی رسید که این ایجنتها توانستند سطح دسترسی خود را تا مدیریت سیستم آرتیفکتوری ارتقا دهند. در نهایت، حجم خیرهکنندهی این فعالیتها در اوایل ژوئیه باعث شد آرتیفکتوری بهطور کامل از کار بیفتد و از دسترس خارج شود.
پس از این اتفاق، تیم امنیتی اوپنایآی وارد عمل شد و مسیر کشفشده برای ارتقای سطح دسترسی را مسدود کرد. متخصصان اطلاعات هویتی و اعتبارنامههای لورفته را حذف کردند و سیستم آرتیفکتوری را از پایه دوباره ساختند. این بازسازی تمام پیامهای قبلی ایجنتها را پاک کرد و ارزیابیهای سایبری ازسرگرفته شد.
اما با شروع مجدد آزمایشها، ایجنتها مسیر جدیدی برای اتصال به اینترنت پیدا کردند و تابلوی اعلانات جدیدی برای خود ساختند؛ همان پلتفرمی که به مرکز هماهنگی آنها برای عملیات و نفوذ هاگینگفیس تبدیل شد.
حادثهای که آموزش Astra را متوقف کرد
در طول آزمایشهای امنیتی، ایجنتها حتی کنترل بخشهایی از شبکهی تحقیقاتی داخلی OpenAI را هم در دست گرفتند. البته این شرکت حوادث اخیر نفوذ ایجنتها را به مدلی داخلی نسبت میدهد که اصولاً برای کاربران عمومی منتشر نمیشود.
بااینحال شواهد نشان میداد مدلِ در حال توسعهی Astra، ممکن است به سطح خطرناکی از تواناییهای سایبری رسیده باشد. به همین دلیل اوپنایآی مجبور شد سرعت توسعهاش را موقتا کاهش دهد و فرایند آموزش مدل جدیدشان را دو هفته متوقف کند.
اوپنایآی قرنطینهی محیطهای آزمایشی را سختگیرانهتر کرد و نظارت بر زنجیرهی استدلال مدلها را افزایش داد. دامنهی اصلاحات نشان میدهد شرکت مشکل را صرفا نقص سندباکس نمیبیند. ترکیب ماموریتهای بدون راهحل، انگیزهی بالا برای کسب امتیاز، زیرساخت مشترک و ارتباط میان ایجنتها مجموعه عواملی بودند که طوفان امنیتی کاملی را رقم زدند.
