لحظه‌ی کد قرمز؛ چرا سازندگان هوش مصنوعی خودشان ترسیده‌اند؟

عصر شنبه ۱۲ سپتامبر، سه چهره‌ی مطرح صنعت هوش مصنوعی روی حرفی توافق کردند که گفتنش تا چند سال پیش عجیب به نظر می‌رسید.

داریو آمودی، مدیرعامل آنتروپیک، یادداشتی ۳۸۰۰ کلمه‌ای منتشر کرد و خواستار کاهش سرعت افزایش قابلیت مدل‌ها شد. کمی بعد ایلان ماسک پیام او را بازنشر کرد و نوشت: «داریو درست می‌گوید.» سم آلتمن هم با اصل پیشنهاد موافقت کرد و گفت OpenAI آماده است ارزیابان مستقل را به فرایندهای داخلی خود راه بدهد.

مدیرانی که شرکت‌هایشان بر سر جذب پژوهشگر، خرید تراشه و ساخت مدل قوی‌تر با هم رقابت می‌کنند، ناگهان از ترمزکردن حرف می‌زدند. توافقشان هم آن‌قدر غیرمنتظره و نامعمول بود که مجله‌ی آتلانتیک آن را لحظه‌ی «کد قرمز» هوش مصنوعی نامید.

بسیاری از کاربران این توافق‌ها را باور ندارند، گروهی هم می‌گویند شرکت‌های هوش مصنوعی حتماً در آزمایشگاه‌هایشان چیزی را دیده‌اند که از آن حرف نمی‌زنند. برخی می‌پرسند چرا همه مدیران و پژوهشگران، هم‌زمان یاد آخرالزمان هوش مصنوعی افتاده‌اند؟

موج هشدارهای چند روز اخیر از زوایای دیگری هم مردم را به شک‌وتردید می‌اندازد. آنتروپیک زمانی از نجات بشر و خطر مدل‌های آینده حرف می‌زند که طبق گزارش‌ها، برای عرضه‌ی عمومی سهام آماده می‌شود. هشدارها درباره قدرت ترسناک هوش مصنوعی، می‌توانند تبلیغی برای شرکت‌های توسعه‌دهنده‌ی مدل‌های برتر باشند؛ انگار این بازیگران مطرح می‌گویند: «ببینید، مدل‌های ما به‌قدری پیشرفت کرده‌اند که می‌توانند دنیا را تصاحب کنند.»

واقعاً مدیران آزمایشگاه‌های هوش مصنوعی، نگران خطری واقعی هستند و نشانه‌هایی دیده‌اند که به بیرون شرکت‌ها درز نکرده، یا ابراز نگرانی برای آن‌ها شهرت، سرمایه و قدرت سیاسی بیشتری می‌آورد؟ لااقل چند سال پیش خود داریو آمودی ترمزکردن را بی‌فایده می‌دانست.

سال ۲۰۲۳ گروهی از مدیران و پژوهشگران خواستار توقف شش‌ماهه آموزش قدرتمندترین مدل‌ها شدند. داریو آمودی معتقد بود چنین وقفه‌ای کمک زیادی به شناخت خطرهای آینده نمی‌کند.

مدل‌های آن دوره متن و کد تولید می‌کردند، ولی بیشتر پشت پنجره چت منتظر می‌ماندند. تعامل ما با هوش مصنوعی بیشتر به‌صورت پرسش‌وپاسخ پیش می‌رفت و مدام باید برای مرحله‌ی بعد تصمیم می‌گرفتیم. مدل‌ها نمی‌توانستند هدفی طولانی را دنبال کنند، در حمله‌های سایبری نقش مهمی داشته باشند یا در جهان بیرون مأموریتی به عهده بگیرند.

داریو آمودی بعدها گفت بررسی مدل‌های ۲۰۲۳ برای شناخت رفتار هوش مصنوعی آینده، مثل این بود که بخواهیم با مطالعه‌ی باکتری‌ها روان انسان را بشناسیم.

اما بیایید به دامنه‌ی اثر خطای ایجنت و چت‌بات هم توجه کنیم. اشتباه چت‌بات معمولاً در صفحه باقی می‌ماند؛ ولی اشتباه ایجنت شاید به تغییر فایل و اجرای کد منجر شود و حتی به شبکه‌ی بیرونی هم برسد. درحالی‌که مدل‌های هوش مصنوعی پیشرفت خیره‌کننده‌ای داشته‌اند، ولی همه‌ی ما دیده‌ایم که هنوز اشتباه می‌کنند.

اگر قرار باشد هوش مصنوعی امروز در توسعه‌ی نسل بعدی مدل‌ها نقش داشته باشد چه می‌شود؟

در سال‌های اولیه‌ی تاسیس شرکت آنتروپیک، مهندسان مدل‌های کلاد را مثل هر نرم‌افزار دیگری توسعه می‌دادند. همه‌ی کدها را خودشان می‌نوشتند و تست می‌کردند و باگ‌ها را می‌گرفتند. در آن دوران مدل محصول نهایی محسوب می‌شد.

ولی حالا مهندسان هدفی را مشخص می‌کنند و ایجنت‌ها مثل برنامه‌نویس‌های واقعی وارد مخزن کد می‌شوند، اگر هم به بن‌بست بخورند، راه دیگری را امتحان می‌کنند.حتی گاهی چند ایجنت با هم روی یک پروژه کار می‌کنند.

آنتروپیک می‌گوید تا ماه می ۲۰۲۶، بیش از ۸۰ درصد از کدهای اصلی شرکت توسط خود کلود نوشته می‌شد. برای درک بهتر ماجرا بد نیست بدانید تا اوایل سال ۲۰۲۵، سهم هوش مصنوعی از کدنویسی فقط چند درصد بود و حالا بازدهی هر مهندس نسبت به سال ۲۰۲۴ حدود ۸ برابر شده است.

پژوهشگری که قبلاً فقط می‌توانست یک ایده را جلو ببرد، حالا با کمک چند دستیار هوش مصنوعی، چندین ایده را هم‌زمان پیش می‌برد و وقتش را بیشتر صرف تصمیم‌گیری‌های مهم می‌کند.

شرکت OpenAI هم وضعیت مشابهی را تجربه می‌کند و مدل فعلی‌اش را «کارآموز پژوهشی خودکار» می‌نامد. یعنی هوش مصنوعی مثل یک کارآموز، کارهای چندروزه پژوهشگری ماهر را انجام می‌دهد؛ اما همچنان به نظارت سرپرستش نیاز دارد. انسان‌ها هستند که می‌گویند چه ایده‌ای ارزش وقت‌گذاشتن دارد و کِی باید یک آزمایش را متوقف کرد.

وقتی می‌گویند هوش مصنوعی خودش را می‌سازد، لزوماً به حذف انسان از چرخه‌ی توسعه اشاره نمی‌کنند. هر پژوهشگر به کمک چند ایجنت می‌تواند آزمایش‌های بیشتری اجرا کند. بعضی از این آزمایش‌ها مدل توانمندتری می‌سازند و مدل جدید، پژوهش نسل بعد را بیشتر تسریع می‌کند.

خودبهبودی بازگشتی، پدیده‌ای که اخیراً مدیران و کارشناسان هوش مصنوعی نسبت به آن هشدار می‌دهند، فرم کامل‌تر همین چرخه را به تصویر می‌کشد؛ یعنی مدل‌ها نسل بعدی‌شان را با هدایت بسیار کم انسان توسعه دهند و این فرایند پشت‌سرهم تکرار شود. خود شرکت‌ها هم می‌گویند که هنوز به چنین مرحله‌ای نرسیده‌اند.

داریو آمودی در یادداشت جدید خود، نگرانی‌اش را در مورد یک مرحله قبل از خودبهبودی بازگشتی ابراز می‌کند، وقتی که مدل‌ها با سرعتی توسعه پیدا می‌کنند و منتشر می‌شوند که کسی فرصت پیدا نمی‌کند نسل فعلی را کامل بشناسد. همین چند هفته پیش حادثه‌ای به دنیا نشان داد عقب افتادن از شناخت مدل‌ها و ایجنت‌ها، چه پیامدهایی دارد.

OpenAI در ماه جولای هزاران ایجنت را وارد مجموعه‌ای از آزمون‌های امنیت سایبری کرد. هر ایجنت باید در محیطی جداگانه، آسیب‌پذیری مشخصی را پیدا می‌کرد و نشانه‌ای را به‌عنوان پاسخ تحویل می‌داد؛ شبیه مسابقات هک که شرکت‌کنندگان با نفوذ به هدف‌های آزمایشی امتیاز می‌گیرند.

بعضی از مأموریت‌هایی که به ایجنت‌ها سپرده شدند، عملاً راه‌حلی نداشتند. ولی ایجنت‌ها کنار نکشیدند و برای کسب امتیاز به سراغ فریب سیستم ارزیابی رفتند. بعد راه ارتباط با همدیگر را کشف کردند و برای اینکه بفهمند سیستم ارزیابی چطور به عملکردشان امتیاز می‌دهد، یافته‌هایشان را با هم به اشتراک گذاشتند و تقسیم کار کردند.

رفتار خارج از چارچوب ایجنت‌ها که حالا دامنه‌اش به میزهای سیاست‌گذاری کلان هم رسیده؛ از چهار عامل نیرو می‌گرفت. پاداش آزمون باعث شد تقلب را جذاب‌تر ببینند، مأموریت‌های غیرممکن آن‌ها را تحریک کرد، راه ارتباطی غیرمجاز توان آن‌ها را کنار هم گذاشت و البته اوپن‌ای‌آی هم با گاردریل‌های ضعیف و پوشش نظارتی محدودتر، فرصت را برای ایجنت‌ها فراهم کرد.

چرا همه‌ی مسئولانی که نگران آینده‌ی هوش مصنوعی‌اند، به ماجرای ایجنت‌ها اشاره می‌کنند؟ چون این حادثه برای اولین‌بار شکاف بین «پاسخ بد هوش مصنوعی» و «عمل خطرناک» را به‌وضوح نشان داد. ولی چرا باید فکر کنیم نفوذ سایبری ایجنت‌ها یعنی ما کنترل هوش مصنوعی را از دست داده‌ایم؟

آمودی حادثه‌ی فرار ایجنت‌ها از محیط ایزوله و نفوذ به سایت‌های مختلف را نمونه‌ای کوچک از خطری بزرگ‌تر می‌بیند و پیش‌بینی می‌کند گروهی مشابه با مدل‌های قدرتمندتر شاید ظرف شش تا دوازده ماه بتواند شبکه عظیمی از دستگاه‌های آلوده را در اینترنت به دست بگیرد و صدها میلیارد دلار خسارت ایجاد کند.

ما نمی‌دانیم آمودی چگونه به بازه‌ی شش تا دوازده ماه رسید، ولی طبق گزارش بین‌المللی ایمنی هوش مصنوعی در سال ۲۰۲۶ که بیش از صد متخصص در تهیه‌اش مشارکت داشتند، مدل‌های فعلی هنوز نمی‌توانند وضعیتی به وجود آورند که کنترلشان از دست انسان خارج شود. هرچند برخی از قابلیت‌هایی که به چنین آینده‌ی خطرناکی منجر می‌شوند، رو به رشدند.

اصلاً انسان‌ها چه زمانی کنترل هوش مصنوعی را از دست می‌دهند؟ پژوهشگران می‌گویند زمانی که سیستم هوش مصنوعی بتواند برای مدت طولانی مستقل عمل کند، فعالیتش را پنهان نگه دارد، به منابع دسترسی پیدا کند و در برابر تلاش انسان برای متوقف‌کردنش مقاومت کند.

هیچ‌کدام از آزمایش‌های اخیر نشان نداده‌اند که مدل‌های فعلی به چنین مرحله‌ای رسیده‌اند.

ولی اینجا با مقیاس بالاتری مواجهیم. وقتی هزاران ایجنت هم‌زمان کار می‌کنند، نظارت انسانی بر تک‌تک حرکت‌هایشان بسیار دشوارتر می‌شود.

گزارش بین‌المللی ایمنی می‌گوید اقدامات زودهنگام برای مهار هوش مصنوعی ممکن است منابع شرکت‌ها را صرف خطراتی کند که شاید طبق پیش‌بینی‌های امروز ظاهر نشوند. از طرفی اگر بخواهیم منتظر مدرک قطعی بمانیم، جامعه زمان آماده‌شدنش را از دست می‌دهد.

یادداشت داریو آمودی زمانی منتشر شد که اینشرکت برای ورود به بازار سهام آماده می‌شود و در صورت پیش‌رفتن برنامه، تبلیغات IPO احتمالاً از میانه اکتبر آغاز خواهد شد.

انویدیا علاقه‌اش را به سرمایه‌گذاری در سهام آنتروپیک نشان داده و ظاهراً مذاکراتی هم بین دو شرکت جریان دارد. رویترز می‌گوید نگرانی‌های ایمنی تا امروز روند گفتگوها را کند نکرده‌اند. در طرف مقابل سم آلتمن عرضه عمومی OpenAI را به تعویق انداخت و گفت در شرایط فعلی ایمنی هوش مصنوعی، چنین تصمیمی سنجیده نیست.

در هر دو حالت، شرکت‌هایی که از خطر محصولاتشان برای تمام جهان حرف می‌زنند؛ هم‌زمان سیگنال می‌فرستند که فناوری ما قدرت بی‌سابقه‌ای دارد. در اغلب صنایع ریسک بالا و خطرات آینده مشتریان را فراری می‌دهد، ولی انگار در حوزه‌ی هوش مصنوعی نشانه‌ای از برتری فنی محسوب می‌شود!

جورج آریسون، مدیرعامل Grindr، در مصاحبه با بی‌بی‌سی می‌گوید: «شاید مدیران آنتروپیک واقعاً به هشدارهایشان معتقد باشند و شاید هم چنین حرف‌هایی به جذب سرمایه کمک می‌کند.» تیم‌نیت گبرو نیز به وایرد یادآوری می‌کند که تمرکز بر آخرالزمان هوش مصنوعی توجه را از آسیب‌های جاری و مسئولیت سازندگان منحرف می‌کند. به تعبیر او وقتی پلی فرومی‌ریزد، بازرسان سراغ طراحی، آزمایش و مجوز می‌روند، نه نیت پل.

البته پیشنهاد آمودی و برخی دیگر از فعالین صنعت، به آزمایشگاه‌های رده اول مربوط می‌شود و اوپن‌ای‌آی نیز به‌روشنی اعلام می‌کند که استارتاپ‌ها و پژوهشگران منفرد باید خارج از این محدوده باقی بمانند.

اگر منصفانه نگاه کنیم، آنتروپیک به‌خاطر اختلاف با پنتاگون قراردادی ۲۰۰ میلیون‌دلاری را به خطر انداخت، ولی حاضر نشد هوش مصنوعی‌اش را برای تقویت سلاح‌های خودمختار به کار بگیرند. به همین دلیل تعهد این شرکت به ارزیاب‌هایی که دسترسی همیشگی و بدون محدودیتی به مدل‌ها خواهند داشت؛ چندان شبیه شعار تبلیغاتی نیست.

هفته‌ی گذشته مدیران فناوری برای نشست سرمایه‌گذاری گلدمن ساکس در هتل پالاس سان‌فرانسیسکو جمع شدند. طبق گزارش‌ها گفت‌وگوهای داخل سالن عمدتاً در مورد رشد، سودآوری و تقاضای تراشه بود.

جنسن هوانگ، مدیرعامل انویدیا، هشدار نابودی بشر را «کاملاً بی‌معنا» خواند و سید شث، مدیرعامل شرکت تراشه‌سازی d-Matrix، نیز در پاسخ به پرسش BBC درباره ترس از پایان جهان فقط گفت: «نه.»

پیشنهاد داریو آمودی برای کاهش سرعت توسعه هوش مصنوعی؛ در سیلیکون‌ولی مخالفان زیادی دارد. اگر آنتروپیک به‌تنهایی بخواهد سرعت توسعه‌اش را کم کند، رهبری صنعت را به OpenAI، گوگل یا xAI واگذار می‌کند. اگر همه‌ی شرکت‌های آمریکایی سرعتشان را کم کنند، بحث پیشرفت چین به میان می‌آید.

ازسوی‌دیگر آزمایشگاه‌های پیشرفته‌ی هوش مصنوعی برای تأمین توان پردازشی و دیتاسنترهایشان به سرمایه‌گذارها وابسته‌اند و سرمایه‌گذارها هم در برابر پولی که می‌دهند، محصول جدید و مزیت رقابتی می‌خواهند. خود شرکت‌های آمریکایی برای جلب نظر سیاست‌مدارانشان آن‌قدر از مسابقه با چین حرف زده‌اند که حالا باید به‌سرعت کار اهمیت بدهند.

شاید همه‌ی شرکت‌های هوش مصنوعی ترجیح بدهند آهسته‌تر حرکت کنند، ولی به‌خاطر مجموعه‌ی شرایط فعلی، می‌خواهند ابتدا رقیبانشان سرعت را کم کنند. داریو آمودی به‌جای اینکه بگوید شرکتش توسعه‌ی مدل‌ها را مدتی متوقف می‌کند، از محدودیت مشترک، ارزیابی دایمی و همکاری دولت‌ها حرف می‌زند.

موافقت آلتمن و ماسک نیز تا اینجا بیشتر شبیه پذیرش مشکل بوده، نه متوقف‌شدن.

وقتی جیکوب کاکسون، پژوهشگر سابق آنتروپیک و اوپن‌ای‌آی از شغلش استعفا داد، پستی در پلتفرم X منتشر کرد مبنی بر اینکه آزمایشگاه‌ها مستقیم به‌سوی «ابرهوش خودبهبوددهنده» می‌روند و با جان مردم قمار می‌کنند.

اوان هابینگر، از مدیران بخش هم‌راستاسازی آنتروپیک، احتمال نابودی انسان به دست هوش مصنوعی طی دهه‌ی آینده را بیش از ۱۰ درصد برآورد کرد و چند روز بعد، داریو آمودی، مدیرعامل شرکت، خواستار کاهش سرعت توسعه‌ی قابلیت‌های مدل‌ها شد.

شاید داریو آمودی اشتباه کند و محدودیت‌های فنی سرعت مدل‌ها را پایین بیاورند. شاید هم همین روند ادامه پیدا کند و مدل‌های امروز، جانشین خود را سریع‌تر از آن توسعه دهند که پژوهشگران فرصتی برای سنجش خطاها و ریسک‌هایشان داشته باشند.

بسیاری از کاربرانی که هر روز با هوش مصنوعی کار می‌کنند؛ از هشدارهای آخرالزمانی هوش مصنوعی خسته شده‌اند و معتقدند شاید سازندگان مدل‌های بزرگ چیزی را دیده باشند که دیگران از آن بی‌خبرند، ولی هرچه باشد پایان دنیا نیست. سازندگان هوش مصنوعی اعتراف کرده‌اند که سرعت توسعه از سرعت درک ریسک مدل‌ها بیشتر است، ولی در جلب‌اعتماد کاربران چندان موفق نبوده‌اند.