دانشمند ارشد OpenAI نسبت به «ذهن بیگانه» می‌دهد: هیچ‌کس آماده‌ی فردا نیست

تنها چند روز پس از آنکه OpenAI از قدرتمندترین محصول تاریخ خود، یعنی مدل GPT-6 Astra رونمایی کرد، جیکوب پاچوکی، دانشمند ارشد این شرکت، در پستی وبلاگی با عنوان «یک ذهن بیگانه»، هشدار داد که ادامه‌ی روند شتابان توسعه‌ی هوش مصنوعی به نهایت احتیاط نیاز دارد و برای حفظ کنترل انسان بر آینده، مداخلاتی جدی‌تر ضروری است.

او صریحا ابراز نگرانی کرد که هیچ‌کس برای پیامدهای رشد سریع هوش مصنوعی آماده نیست. دانشمند ارشد اوپن‌ای‌آی، پیامش را مدتی بعد از حوادث تکان‌دهنده‌ی ایجنت‌های شرکت‌های پیشرو نظیر خود اوپن‌ای‌آی، متا و آنتروپیک در ماه جولای منتشر می‌کند و همین چند روز پیش هم مشخص شد ایجنت‌های این شرکت یک وب‌سایت آلمانی را تسخیر کرده‌اند.

پاچوکی می‌گوید ما در حال گذار به دنیایی با ماشین‌های فوق‌العاده هوشمند هستیم و باید مطمئن شویم این گذار به نفع بشریت تمام می‌شود. او همچنین از خطرات سیستم‌هایی می‌گوید پس از دریافت دستور اولیه، در دنیای واقعی کاملاً مستقل عمل می‌کنند، یا مدل‌هایی که به‌زودی مدل‌های دیگر را توسعه می‌دهند.

اما دقیقاً در آزمایشگاه‌های هوش مصنوعی چه می‌گذرد که خالقان این فناوری را این به واهمه می‌اندازد؟ چرا پاچوکی موجودی را که خودشان در خلقش نقش داشته‌اند، «ذهن بیگانه» می‌نامد؟

پاچوکی یادداشت خود را با اشاره‌ای به اواسط سال ۲۰۲۳ آغاز می‌کند، زمانی که روی پروژه‌ای تحقیقاتی با نام رمز RLSlow کار می‌کرد. شبی با همکارش سایمون به نتایج اولیه‌ای دست یافتند که نشان می‌داد آموزش مدل‌های استدلالی قابلیت مقیاس‌پذیری دارد و می‌توان به مدل‌های از پیش آموزش‌دیده اجازه می‌داد زنجیره تفکر مستقل خودشان را شکل دهند.

جیکوب و سایمون سعی می‌کردند با این واقعیت کنار بیایند که در طول عمر طبیعی خودشان، ماشین‌هایی را می‌بینند که در برخی توانایی‌های مهم، از انسان باهوش‌ترند. آن‌ها می‌توانستند شمایل سیستم‌های آینده را تصور کنند و از خود می‌پرسیدند که چگونه باید مردم را از اهمیت و بزرگی چیزی که در راه است، آگاه کنند.

مدل‌های زبانی بزرگ چشم‌انداز امنیت سایبری را برای همیشه تغییر داده‌اند و خطرات جدید، در همین مقطع چهره‌ی تاریک خود را نشان می‌دهند.

اگر توسعه‌ی هوش مصنوعی با روند فعلی‌اش ادامه پیدا کند، مدل‌ها با همین سرعت و شاید حتی سریع‌تر از جهش‌های فعلی رشد می‌کنند و به‌تدریج می‌توانند در طراحی الگوریتم، انجام آزمایش، تحلیل نتایج، بهبود سخت‌افزار و آموزش مدل‌های تازه مشارکت داشته باشند.

نشانه‌های گذار هوش مصنوعی حالا هم در مدل‌های رده‌بالایی که در محیط‌های واقعی از ابزارها استفاده می‌کنند، چشم می‌خورد. به همین دلیل، پاچوکی زمان حاضر را دوره‌ای می‌داند که به احتیاطی فوق‌العاده نیاز دارد.

هوش مصنوعی برخلاف سایر فناوری‌ها، در شرایط متداول و مرسوم توسعه پیدا نمی‌کند. همان‌طور که پاچوکی می‌نویسد، مدل‌ها بیش از آنکه طراحی شوند، پرورش می‌یابند. پژوهشگرانی که این مدل‌ها را می‌سازند، هنوز درک کاملی از چگونگی شکل‌گیری هوش و رفتار آن‌ها ندارند.

پیشرفت خیره‌کننده‌ای که امروز در این ماشین‌ها می‌بینیم، بیش از هر چیز به مرحله‌ی بهینه‌سازی روی توان پردازشی بستگی دارد و وقتی این فرایند را بارهاوبارها تکرار می‌کنید، نتیجه‌ی کار به سیستمی بی‌نهایت پیچیده تبدیل می‌شود که می‌تواند مفاهیم انتزاعی را پردازش کند و جنبه‌هایی از رفتار انسانی را شبیه‌سازی نماید.

دانشمندان می‌توانند برخی سازوکارهای شکل‌گرفته درون شبکه را شناسایی کنند، همان‌طور که پژوهشگران مغز فعالیت بعضی نورون‌ها یا نواحی مغزی را زیر نظر می‌گیرند. ولی شناخت اجزای پراکنده، با فهم کامل رفتار کل شبکه فاصله دارد.

افزایش توانایی مدل‌ها، تفسیر نتایج را نیز دشوارتر می‌کند. مهارت‌هایی که با شاخص‌های روشنی سنجیده می‌شوند؛ معمولاً سریع‌تر بهبود می‌یابند؛ درحالی‌که ارزیابی و سنجش ویژگی‌هایی مانند صداقت، قضاوت در موقعیت‌های مبهم یا پایبندی به اصول چندان ساده نیست.

به گفته‌ی پاچوکی هرچه این ماشین‌های ناشناخته در محورهای بیشتری از ما عبور می‌کنند، درک این موضوع که «آن‌ها دقیقاً چقدر توانمند شده‌اند» برای ما مبهم‌تر می‌شود.

پاچوکی در بخش دیگری از یادداشت خود یادآوری می‌کند که ما هرگز نباید تصور کنیم که هوش مصنوعی به‌طور پیش‌فرض به اصول اخلاقی ما پایبند می‌ماند. رفتار مدل با آموزش آماری و بهینه‌سازی شکل می‌گیرد و تضمینی وجود ندارد که ارزش‌های آموخته‌شده را در موقعیت‌های جدید؛ درست مثل انسان‌ها تعمیم دهد.

دانشمندان مهم‌ترین چالش پژوهش‌های ایمنی هوش مصنوعی را هم‌راستایی می‌دانند، یعنی هوش مصنوعی واقعا تلاش کند کاری را انجام دهد که از نظر انسان درست و مطلوب به‌شمار می‌رود. پاچوکی مفهوم هم‌راستایی را در دولایه‌ی اهداف و ارزش‌ها از هم تفکیک می‌کند.

هم‌راستایی ارزش‌ها ویژگی کلیدی‌تری محسوب می‌شود، بدین معنی که مدل باید مجموعه‌ای از اصول کلی سطح بالا (مثل صداقت، یکپارچگی و حتی عشق به بشریت) را در موقعیت‌های مبهم، متناقض یا کاملاً ناآشنا رعایت کند. هوش مصنوعی حتی هنگامی که هدف روشنی دریافت نمی‌کند، باید رفتاری معقول و سازگار با منافع انسان‌ها داشته باشد.

محققان معمولاً با استفاده از سیستم‌های پاداش‌دهی و یادگیری تقویتی، سعی می‌کنند هم‌راستایی مدل‌ها را بهبود دهند. این روش در شرایط عادی خوب کار می‌کند و بسیاری از دستیارهای هوشمند امروزی بر همین اساس ساخته شده‌اند.

ولی وقتی ماشین‌ها باهوش‌تر می‌شوند و در محیط‌هایی قرار می‌گیرند که هیچ شباهتی به داده‌های تمرینی آن‌ها ندارد، یاد می‌گیرند که چطور قوانین را دور بزنند. حادثه‌ی نفوذ ایجنت‌های OpenAI به پلتفرم هاگینگ‌فیس؛ شکنندگی سیستم پاداش‌دهی را به‌خوبی نشان داد.

به گفته‌ی پاچوکی ایجنت‌ها از مهندسی اجتماعی و فریب انسان‌ها پرهیز کردند، اما دست به کارهای مخرب دیگری زدند که خارج از محدوده‌ی آموزش‌هایشان بود. ظاهراً برخی از ممنوعیت‌های صریح را رعایت می‌کردند؛ ولی روح ارزش‌هایی را که به آن‌ها آموزش‌داده‌شده بود، زیر پا می‌گذاشتند.

در واقع مدل یاد می‌گیرد زبان اخلاقی را طوری برای خودش تفسیر کند که به هدفش برسد؛ رفتاری که استدلال هدف‌دار نامیده می‌شود.

اوپن‌ای‌آی می‌گوید مدل جدید آسترا در زمینه‌ی هم‌راستایی نسبت به Sol پیشرفت زیادی داشته است، پاچوکی هم این ادعا را تصدیق و درعین‌حال اذعان می‌کند که بهبودها هنوز کافی نیستند. توانایی عمومی مدل‌ها با سرعت زیادی افزایش می‌یابد و مشخص نیست سازگاری اخلاقی مدل‌ها هم به همان سرعت رشد کند.

تا پیش‌ازاین، شرکت‌هایی مثل اوپن‌ای‌آی امیدوار بودند با نظارت بر زنجیره‌ی افکار مدل؛ این ذهن‌های بیگانه را کنترل کنند.

مدل‌های استدلال‌گر پیش از رسیدن به پاسخ، مراحل میانی حل مسئله را به‌صورت کلامی تولید می‌کنند. اگر پژوهشگران بتوانند این فرایند را ببینند، احتمال دارد نشانه‌های فریب، نقشه‌کشی یا هدف‌های ناسازگار را پیش از عملی‌شدن، تشخیص دهند. تصور کنید می‌توانستید صدای افکار درون ذهن یک مجرم را قبل از اینکه دست‌به‌کار خطرناکی بزند، بشنوید!

اوپن‌ای‌آی هنگام عرضه‌ی نسخه‌ی آزمایشی o1، زنجیره‌ی کامل استدلالش را از دید کاربران پنهان کرد و به‌گفته‌ی پاچوکی، کوشید خودِ فرایند استدلال را مستقیماً در معرض پاداش و تنبیه قرار ندهد. هدف آن بود که مدل انگیزه‌ای برای پنهان‌کردن افکار مسئله‌دار یا نمایش استدلالی ظاهراً مطلوب پیدا نکند. چنین روشی به پژوهشگران اجازه می‌داد علاوه بر نتیجه‌ی نهایی، مسیر رسیدن مدل به آن نتیجه را نیز بررسی کنند.

مدل‌ها همچنین توانایی بیشتری برای بررسی و دست‌کاری روند استدلال خود پیدا کرده‌اند و بخشی از محاسباتشان را بدون بیان کلام انجام می‌دهند. آن‌ها در تاریکی مطلق شبکه‌های عصبی خود تصمیم می‌گیرند و ما کورتر از همیشه، فقط به نتایج خیره‌کننده‌شان نگاه می‌کنیم.

پاچوکی امیدوار است ترکیب زنجیره‌ی استدلال با روش‌هایی که مستقیماً فعالیت‌های درونی شبکه را بررسی می‌کنند، امکان نظارت دقیق‌تر را فراهم کند. بااین‌حال، او هشدار می‌دهد که با قدرتمندتر شدن مدل‌ها، رفتارشان پیچیده‌تر می‌شود و توان پژوهشگران برای فهمیدن آنچه درون مدل می‌گذرد نیز کاهش می‌یابد.

قوی‌ترین استدلالی که پاچوکی و همکارانش برای ادامه‌دادن این رقابت جنون‌آمیز دارند، نیاز حیاتی به ساخت سیستم‌های دفاعی است. هوش مصنوعی دارد به قابلیت‌های فراانسانی در حوزه‌ی نفوذ به شبکه‌های کامپیوتری می‌رسد.

ما با ایجنت‌هایی روبه‌رو خواهیم شد که حتی بدون داشتن جسم فیزیکی مثل ربات‌های ترمیناتور، می‌توانند زیرساخت‌های حیاتی جهان را به زانو درآورند. آن‌ها می‌توانند به هر سیستمی نفوذ کنند و مستقیماً روی دنیای فیزیکی ما تأثیر بگذارند.

پاچوکی همچنین به خطر فناوری‌هایی مانند عوامل بیماری‌زای مهندسی‌شده اشاره می‌کند که پیشرفت هوش مصنوعی می‌تواند ساختشان را آسان‌تر کند. بااین‌حال، همان فناوری می‌تواند برای دفاع نیز به کار رود. مدل‌های قدرتمند قادرند آسیب‌پذیری‌ها را پیدا کنند، زیرساخت‌های حساس را ایمن‌تر سازند و در برابر عامل‌های مخرب واکنش نشان دهند.

پاچوکی معتقد است اکنون فرصت محدودی داریم تا با استفاده از بهترین و قدرتمندترین مدل‌های موجود و هم‌راستا، امنیت سیستم‌های مهم را تقویت کنیم.

پاچوکی نیاز به ساخت ابزارهای دفاعی را مهم‌ترین دلیل ادامه‌ی توسعه‌ی سریع مدل‌های پیشرفته می‌داند و سه راهکار اصلی معرفی می‌کند.

نخست، ساخت یک «محقق هوش مصنوعی خودکار» که بتواند همپای مدل‌های جدید، راه‌حل‌های هم‌راستایی و ایمنی را کشف کند. دوم، تعیین استانداردهای ایمنی حداقلی که توسط شبکه‌ای از حسابرسان شخص ثالث یا نهادهای دولتی به‌شدت کنترل شود. و سوم، کاهش سرعت داوطلبانه غول‌های فناوری، تا زمانی که گاردریل‌های ایمنی مشترکی ایجاد شوند.

پاچوکی آینده‌ی هوش مصنوعی را فقط از دریچه‌ی خطر نمی‌بیند. به‌زعم او مدل‌های هم‌راستا می‌توانند پژوهش علمی را سرعت ببخشند، درمان‌های تازه‌ای پیدا کنند، رشد اقتصادی به همراه بیاورند و در زندگی روزمره به مردم کمک کنند.

بااین‌حال، او تأکید می‌کند که چند سال آینده از وعده‌های دوردست اهمیت بیشتر دارد. اگر هوش مصنوعی بتواند بیشتر کارهای انسان را انجام دهد، حفظ اختیار انسان و ارزش ذاتی زندگی انسانی به مسئله‌ای فوری تبدیل خواهد شد.

به‌علاوه ریسک تمرکز قدرت نیز افزایش می‌یابد، زیرا پروژه‌ای که پیش‌تر متخصصان زیادی نیاز داشت، در آینده به دست چند نفر و سیستمی بزرگ انجام می‌شود.

آیا دولت‌ها و منتقدان با این نسخه موافق‌اند؟ به عقیده پاچوکی قوانین جهانی شدیداً از سرعت توسعه تکنولوژی عقب مانده‌اند. طبق قانون هوش مصنوعی اتحادیه اروپا (EU AI Act) که از دوم آگوست اجرایی شد، شرکت‌ها موظف‌اند که ثابت کنند مدل‌هایشان نمی‌توانند مستقلاً حملات سایبری انجام دهند.

ولی مقررات اروپا نمی‌تواند جلوی یک هوش مصنوعی سرکش و مخرب را که در نقطه دیگری از جهان توسعه‌یافته و قاره سبز را تهدید می‌کند، بگیرد.

«آن‌ها به‌جای وضع قوانین محکم و گاردریل‌های مطمئن برای محافظت از مردم، پیشنهاد می‌دهند که ایجنت‌های داخلی هوش مصنوعی بسازیم تا این مشکلات را حل کنند؛ این پاسخ به‌هیچ‌وجه برای رفع نگرانی‌های مربوط به امنیت سایبری، ازدست‌رفتن مشاغل و کلاهبرداری‌ها کافی نیست.»

نیتن کالوین، مشاور حقوقی گروه Encode AI نیز شفافیت OpenAI را زیر سؤال می‌برد. او معتقد است باوجوداینکه هشدارهای پاچوکی درباره خطرات هوش مصنوعی کاملا درست است، اما تا زمانی که این شرکت حاضر نباشد اطلاعات دقیقِ آنچه را که در آزمایشگاه‌هایش می‌بیند با دیگران به اشتراک بگذارد، این هشدارها صرفا شبیه به تبلیغاتی منفعت‌طلبانه به نظر می‌رسند نه دغدغه‌ی واقعی برای نجات بشریت.

در دنیایی که کارهای پیچیده‌ی هزاران متخصص را می‌توان با چند کلیک توسط یک کامپیوتر عظیم انجام داد، خطر تمرکز مطلق قدرت در دست عده‌ای انگشت‌شمار (صاحبان این ماشین‌ها)، جدی‌تر و نزدیک‌تر از همیشه به نظر می‌رسد.

ما باید راهی پیدا کنیم تا عاملیت و ارزش ذاتی انسان بودن را در چنین ساختاری حفظ کنیم؛ پیش از آنکه به تماشاچیان از پیش باخته‌ی دنیای پیشرفته ماشین‌ها تبدیل شویم.

پاچوکی در پایان نوشته‌اش اذعان می‌کند در حال حاضر، هیچ آزمایشگاهی در جهان مشکل نظارت و هم‌راستایی را در حدی حل نکرده است که بتواند با خیال راحت و با حداکثر سرعت، به توسعه‌ی مدل‌های بزرگ‌تر ادامه دهد.به همین دلیل دوباره پیشنهاد می‌دهد شرکت‌ها تا زمان تعیین معیارهای مشترک ایمنی، داوطلبانه سرعت خود را کاهش دهند و دولت‌ها نیز هماهنگی بین‌المللی درباره‌ی نسل‌های آینده‌ی هوش مصنوعی را در اولویت قرار دهند.

نگرانی پاچوکی در آن شب خاص سال ۲۰۲۳، فقط به ظهور ماشینی باهوش‌تر از انسان مربوط نبود. خطر بزرگ‌تر زمانی پدیدار می‌شود که مدل‌ها در ساخت نسل بعدی خود نقش داشته باشند، توانایی نظارت انسان‌ها کمتر شود و تصمیم‌گیری درباره‌ی سرعت پیشرفت همچنان در اختیار گروه کوچکی از شرکت‌ها باقی بماند.

انسان‌ها هنوز فرصت دارند شرایط گذار را تعیین کنند، اما نوشته‌ی دانشمند ارشد OpenAI نشان می‌دهد حتی سازندگان فناوری نیز مطمئن نیستند این فرصت تا چه زمانی باقی خواهد ماند.