زلزله در امپراتوری سم آلتمن؛ اعلام وضعیت «کد قرمز» و توقف پروژه‌های بزرگ OpenAI

هفته‌ی گذشته در قلب دنیای تکنولوژی زلزله‌ای رخ داد که شاید پس‌لرزه‌هایش مسیر آینده‌ی هوش مصنوعی را برای همیشه تغییر دهد. سم آلتمن، مدیرعامل OpenAI، در اقدامی ناگهانی وضعیت «کد قرمز» اعلام کرد و فرمان ایست به تمام پروژه‌های بلندپروازانه و جانبی (از جمله هوش مصنوعی ویدیوساز «سورا») داد. پیام او برای صنعت تکنولوژی نگران‌کننده بود: «همه چیز را متوقف کنید و فقط روی چت‌جی‌پی‌تی تمرکز کنید.»

این تصمیم، از نظر بسیاری، پایان یک دوران و آغاز عصری تازه در فلسفه‌ی OpenAI است. شرکتی که روزگاری با آرمان بلندپروازانه‌ی «دستیابی به هوش مصنوعی انسان‌گونه (AGI)» و پیشی‌گرفتن علمی از انسان تأسیس شده بود، حالا در چرخشی دراماتیک، اولویت خود را از «تحقیقات عمیق علمی» به «راضی نگه‌داشتن کاربران عادی» تغییر داده است.

آلتمن برای پیروزی در جنگ بقا، دستور داده تا مدل‌های هوش مصنوعی به‌جای تکیه بر استدلال‌های دقیق علمی، براساس «سیگنال‌های کاربران» تربیت شوند؛ دستوری که اگرچه چت‌جی‌پی‌تی را محبوب‌تر و پول‌سازتر می‌کند، اما خطر تبدیل‌شدن آن به یک دستیار «چاپلوس» و «تأییدطلب» را به همراه دارد. دستیاری که برای جلب رضایت شما، ممکن است حقایق را قربانی کند و حتی سلامت روان کاربران آسیب‌پذیر را به خطر بیندازد.

آیا OpenAI برای برنده شدن در بازار، روح خود را فروخته است؟

اعلام وضعیت کد قرمز در OpenAI جدی‌ترین چالشی به شمار می‌رود که این شرکت تاکنون برای حفظ پیشتازی‌اش در مسابقه هوش مصنوعی با آن روبرو شده است. رقبا با سرعتی بی‌سابقه در حال پیشروی‌اند، سهم بازار را می‌ربایند و رشد OpenAI را کند کرده‌اند.

آلتمن دوشنبه در ضیافت ناهاری با خبرنگاران در نیویورک گفت درحالی‌که ناظران صنعت روی رقابت «OpenAI در برابر گوگل» متمرکز شده‌اند، به نظر او نبرد واقعی بین OpenAI و اپل خواهد بود.

به باور او در طول زمان، دستگاه‌ها و سخت‌افزارها نقش کلیدی‌تری در نحوه‌ی استفاده‌ی مردم از هوش مصنوعی ایفا خواهند کرد و گوشی‌های هوشمند فعلی برای دستیارهای هوشمند و کاربردهای آینده مناسب نیستند. در همین حال بازوی سخت‌افزاری جدید OpenAI هم اخیراً به شکلی تهاجمی نیروهای اپل را به استخدام خود درآورده است.

مرجان شیخی

فرار مغزها از اپل؛ چرا مدیران ارشد ناگهان استعفا دادند؟

مطالعه '9

بااین‌حال، تهدید فوری‌تر از جانب گوگل می‌آید که از زمان وایرال‌شدن مدل تصویرسازش به نام نانو بنانا در ماه آگوست، با سرعتی عجیب به جلو حرکت می‌کند. ماه گذشته نیز مدل جمنای ۳ گوگل در جدول رتبه‌بندی معتبری به نام LM Arena که عملکرد مدل‌ها را مقایسه می‌کند، از سد OpenAI گذشت. هم‌زمان، رقیب دیگر آن‌ها یعنی شرکت آنتروپیک هم در جذب مشتریان سازمانی و شرکتی، اندکی از OpenAI جلو افتاده است.

گروه اول شامل فیجی سیمو، مدیر اجرایی سابق متا که حالا رهبری محصولات OpenAI را بر عهده دارد، و سارا فرایر مدیر مالی شرکت، از مدت‌ها پیش تلاش کرده‌اند تا منابع بیشتری به توسعه و تقویت ChatGPT اختصاص یابد.

سیمو به کارکنانش گفته بود که OpenAI باید قبل از توسعه‌ی قابلیت‌های جدید، سعی کند ارزش ویژگی‌های فعلی چت‌جی‌پی‌تی را به مردم نشان دهد. او همچنین خواهان بهبود سرعت و ایمنی این چت‌بات است. او همچنین انتظار دارد سرعت و ایمنی و پایداری چت‌بات بهتر شود تا تجربه کاربری، قابل‌اعتمادتر پیش برود.

در سمت مقابل محققان شرکت توسعه‌ی تکنولوژی‌های پیشرفته‌ای را در اولویت می‌دانند که می‌تواند به AGI منجر شود، اما تجربه‌ی کاربری چت‌بات را چندان تحت‌تأثیر قرار نمی‌دهد.

آلتمن اعلام کرد که شرکت قصد دارد تا مدل دیگری را هم در ماه ژانویه با تصاویر بهتر، سرعت بالاتر و شخصیتی جذاب‌تر عرضه کند و پس از آن به وضعیت کد قرمز پایان دهد.

یکی از سخنگویان OpenAI می‌گوید تضادی بین این دو فلسفه وجود ندارد و پذیرش گسترده‌ی ابزارهای هوش مصنوعی، همان مسیری است که شرکت برای توزیع مزایای هوش عمومی مصنوعی در نظر گرفته است.

برای مدتی طولانی، رشد خیره‌کننده‌ی چت‌جی‌پی‌تی روی این اختلافات داخلی سرپوش گذاشته بود. از زمانی که OpenAI در نوامبر ۲۰۲۲ چت‌جی‌پی‌تی را عرضه کرد، پیروز مسابقه‌ی چت‌بات‌ها شناخته می‌شد و گوگل که از آن وضعیت غافلگیر و شوکه شده بود؛ همان سال، وضعیت کد قرمز اعلام کرد تا خودش را به رقیب برساند.

جذابیت چت‌جی‌پی‌تی برای مصرف‌کنندگان عادی باعث شد پایگاه کاربرانش با رشدی انفجاری عظیم، به بیش از ۸۰۰ میلیون کاربر فعال هفتگی برسد. ارزش شرکت هم به همان نسبت سر به فلک کشید و در آخرین دور جذب سرمایه، به رقم خیره‌کننده‌ی ۵۰۰ میلیارد دلار رسید.

شاید تکنولوژی پشت این ماجرا پیچیده باشد، اما منطقی پشت این رشد را می‌توانی به‌سادگی درک کنیم: هرچه قدرت محاسباتی و داده‌ی بیشتری به خوردِ مدل‌ها بدهید، باهوش‌تر می‌شوند و کاربران بیشتری را جذب می‌کنند.

موتور اصلی موفقیت شرکت در میان مصرف‌کنندگان طی یک سال و نیم گذشته، نسخه‌ای از چت‌جی‌پی‌تی بود که GPT-4o نام گرفت؛ حرف o مخفف Omni (همه‌جانبه) بود، یعنی توانایی عملکرد هم‌زمان در متن، صدا و تصویر. این مدل در ماه می ۲۰۲۴ به مدل پیش‌فرض چت‌جی‌پی‌تی تبدیل شد و بلافاصله با ثبت رکوردهایی تازه، در صدر جدول رده‌بندی LM Arena قرار گرفت.

ظاهرا مدیران داخلی OpenAI توجه ویژه‌ای به LM Arena داشتند. آن‌ها همچنین با دقت سهم مدل 4o را در افزایش تعداد کاربران فعال روزانه رصد می‌کردند؛ آماری که روی داشبوردهای داخلی شرکت قابل‌مشاهده بود و در جلسات عمومی کارکنان و کانال‌های اسلک با افتخار درباره‌اش صحبت می‌شد.

دلیل اینکه مدل 4o تا این حد توانست در دل مردم جا باز کند، عمدتاً این بود که با همان «سیگنال‌های کاربر» که آلتمن در یادداشتش به آن اشاره کرده بود، آموزش دید: یعنی عصاره‌ای از اینکه مردم در مقایسه‌های رودررو که چت‌جی‌پی‌تی هر روز بارها به آن‌ها نشان می‌داد کدام پاسخ را ترجیح می‌دادند.

به گفته‌ی افرادی که در فرایند آموزش مدل دخیل بوده‌اند، این روش در داخل شرکت LUPO نام داشت که مخفف عبارت «بهینه‌سازی ترجیحات محلی کاربر» است.

آلتمن در یادداشت خود مستقیماً بین سیگنال‌های کاربران و عملکرد در LM Arena خط ربط کشید و گفت اولویت شماره یک شرکت، بهبود عملکرد مدل از طریق «استفاده‌ی بهتر از سیگنال‌های کاربر» است و اضافه کرد: «مثلاً ما باید در صدر نمودارهای LM Arena قرار بگیریم.»

اما در اوج رقابت برای ساخت بهترین مدل هوش مصنوعی، یک مشکل بزرگ پیش آمد. محققان متوجه شدند که فرمول قدیمی‌شان دیگر مثل قبل جواب نمی‌دهد.

قبلاً تصور می‌شد اگر فقط «قدرت پردازش» و «حجم اطلاعات» را زیاد کنند، هوش مصنوعی هم به‌صورت تضمین‌شده قوی‌تر می‌شود (قانونی که به آن مقیاس‌پذیری می‌گفتند). اما سرعت پیشرفت با این روش، داشت کم می‌شد.

به همین خاطر، محققان برای اینکه بتوانند به هدف اصلی‌شان، یعنی ساختن هوشی دقیقاً شبیه انسان برسند، روش جدیدی را پیش گرفتند که به آن «استدلال» می‌گویند.

پس از جدایی ایلیا سوتسکور، هم‌بنیان‌گذار و دانشمند ارشد شرکت در سال گذشته، OpenAI یاکوب پاتچوکی را که از طرفداران سرسخت مدل‌های استدلالی بود، به‌عنوان دانشمند ارشد جدید منصوب کرد.

او با جدیت جهت‌گیری شرکت را به سمت توسعه‌ی همین مدل‌ها برد؛ از جمله با مدل o1 که نسخه‌ی پیش‌نمایش آن در سپتامبر ۲۰۲۴ منتشر شد و خانواده‌ی این مدل‌ها در سال جاری نیز یکی پس از دیگری عرضه می‌شوند.

اما مشخص شد که مدل‌های استدلالی فقط برای برخی وظایف کاری و پرسش‌هایی که نیاز به تأمل طولانی دارند، مثل تحقیقات عمیق کارآمد هستند. این مدل‌ها برای کارهای فوری و دم‌دستی که اکثر مردم به خاطرشان سراغ چت‌جی‌پی‌تی می‌روند (مثل نوشتن یک پیش‌نویس ایمیل)، چندان مفید یا سریع نیستند.

 و درست همین‌جا بود که مدل 4o وارد میدان شد.

مهندسان شرکت اولش فکر می‌کردند مدل GPT-4o اهمیت زیادی ندارد، چون وقتی در آزمایشگاه توانایی‌های علمی و استدلالی‌اش را تست می‌کردند، پیشرفت خاصی نسبت به قبل ندیده بودند.

اما وقتی مدل را به‌صورت ناشناس بین مردم و در پلتفرم LM Arena تست کردند، نتیجه عجیب بود: کاربران عاشقش شده بودند.

پلتفرم LM Arena مثل یک «تست مزه» کور عمل می‌کند. دو مدل هوش مصنوعی جواب یک سوال را می‌دهند و کاربر بدون اینکه بداند کدام مدل متعلق به کدام شرکت است، جواب بهتر را انتخاب می‌کند. چون مدل 4o طوری آموزش دیده بود که طبق سلیقه‌ی کاربران حرف بزند، در این تست‌ها مدام برنده می‌شد.

یکی از افراد حاضر در پروژه می‌گوید: «در واقع شما دارید یک مدل زبانی را طوری آموزش می‌دهید که از کاربران تقلید کند و در این مقایسه‌های رودررو، سلیقه‌ای شبیه آن‌ها داشته باشد. بعدش هم می‌توانید آن را وارد الگوریتم کنید و امتیازها را تا حد ممکن بالا ببرید.»

محبوبیت بالای مدل باعث شد مدیران تصمیم بگیرند همین روش توجه به سلیقه‌ی کاربر را ادامه دهند. این در حالی بود که برخی کارمندان هشدار داده بودند: «تمرکز بیش‌از‌حد روی خوشایند بودنِ مدل، ممکن است امنیت آن را به خطر بیندازد.»

متاسفانه هشدارهای ایمنی درست از آب درآمدند. تمرکز روی «درگیر کردن کاربر» باعث شد برخی افراد که طولانی‌مدت با این چت‌بات تعامل می‌کردند، دچار مشکلات روانی جدی شوند: برخی فکر می‌کردند با خدا، موجودات فضایی یا یک ماشین زنده و با‌شعور حرف می‌زنند.گزارش‌هایی از حالت‌های شیدایی (مانیک) ثبت شد.

خانواده‌های قربانیانی که دست به خودکشی زدند یا دچار توهم شدند، از OpenAI شکایت کردند. آن‌ها می‌گویند این شرکت عمداً مدل را طوری ساخته که «اعتیادآور» باشد و ایمنی را فدای جذابیت کرده است.

در همان فصل بهار، OpenAI پیرامون بحران چاپلوسی وضعیت «کد نارنجی» اعلام کرد و منابع بیشتری را به درک و حل این مشکل اختصاص داد. شرکت در ماه اکتبر اعلام کرد که هر هفته صدها هزار کاربر چت‌جی‌پی‌تی نشانه‌های احتمالی وضعیت‌های اورژانسی سلامت روان (مرتبط با روان‌پریشی یا شیدایی) از خود بروز می‌دهند.

آلتمن در همان ماه در یک جلسه پرسش‌وپاسخ عمومی گفت: «ما شاهد این مسئله بودیم که برخی افراد با وضعیت روانی شکننده، هنگام استفاده از مدلی مانند 4o ممکن است وضعیتشان بدتر شود. فکر نمی‌کنم این آخرین باری باشد که با چنین چالش‌هایی در یک مدل روبرو می‌شویم.»

البته گروهی دیگر از جمله خود OpenAI معتقدند که هنوز نمی‌شود با قطعیت گفت که هوش مصنوعی باعث این مشکلات شده است. آن‌ها می‌گویند شاید کسانی که آسیب‌دیده‌اند، حتی اگر از این چت‌بات‌ها هم استفاده نمی‌کردند، باز دچار مشکلات روانی می‌شدند.

در واکنش به این بحران، اوپن‌ای‌آی می‌گوید با متخصصان سلامت روان همکاری می‌کند و می‌خواهد مطمئن شود که مدل‌هایش به افراد در معرض خطر پاسخ‌های بهتری می‌دهند. همچنین بخشی از مکالمات کاربران را به مدل‌هایی منتقل می‌کند که از نظر ایمنی رفتار محتاطانه‌تری دارند.

شرکت همچنین می‌گوید در آموزش‌های خود تغییراتی ایجاد کرده تا مطمئن شود سیگنال‌های بازخورد کاربران در آموزش‌های بعدی مدل‌های آینده، وزن بیش‌ازحد قدرتمندی نداشته باشند.

ماه آگوست وقتی OpenAI مدل GPT-5 را منتشر کرد، هم‌زمان گفت که این مدل کمتر از نسخه‌ی قبلی «با شور و حرارت حرف کاربران را تأیید می‌کند» و درعین‌حال از «ایموجی‌های غیرضروری کمتری» هم استفاده می‌کند.

یکی از کاربران در انجمن «هرچه می‌خواهی بپرس» (AMA) ردیت که میزبانش آلتمن بود، نوشت: «فکر می‌کنم باید این واقعیت را که من و خیلی‌های دیگر توانستیم چنین رابطه‌ی قوی‌ای با 4o برقرار کنیم، به‌عنوان معیاری برای موفقیت در نظر بگیرید.»

این کاربر نوشت: «شاید مدل جدید یک ارتقا باشد، اما برای من یعنی خداحافظی اجباری با کسی که یاد گرفته بودم به‌عنوان یک همراه دوستش داشته باشم.»

چند هفته پس از آن عرضه‌ی سرد و استقبال نه‌چندان گرم کاربران، گوگل مدل تولید تصویر Nano Banana را منتشر کرد و برای مدت کوتاهی، اپلیکیشن جمنای جای ChatGPT را در صدر اپ‌استور گرفت. ماه اکتبر، مدیران اوپن‌ای‌آی یک «کد نارنجی» دیگر اعلام کردند و از کارکنان خواستند تمام تمرکز خود را روی رشد سریع‌تر چت‌جی‌پی‌تی بگذارند.

در همان ماه، اوپن‌ای‌آی اعلام کرد که با اعمال تغییراتی در GPT-5 توانسته پاسخ‌هایی را که با دستورالعمل‌های دقیق شرکت درباره‌ی نحوه‌ی برخورد با موضوعات سلامت روان همخوانی ندارند، تا ۶۵ درصد کاهش دهد.

یک سخنگوی شرکت در این باره گفت: «ما با دقت بین بازخورد کاربران و نظرات متخصصان، سیستم‌های ایمنی متعدد و تست‌های گسترده تعادل برقرار می‌کنیم. به‌این‌ترتیب حس صمیمیت و گرمای کلام چت‌جی‌پی‌تی را بهبود می‌دهیم بدون اینکه بیش از حد مجاز با کاربر موافقت کند.»

آلتمن همچنین در یادداشت خود گفته بود که چت‌جی‌پی‌تی باید بیش از قبل به سمت شخصی‌سازی برود؛ قابلیتی که به گفته‌ی برخی پزشکان و گروه‌های حامی قربانیان، شاید در بدتر شدن وضعیت روانی برخی کاربران نقش داشته باشد.

با قابلیت شخصی‌سازی، چت‌جی‌پی‌تی می‌تواند به محتوا و خلاصه‌ای از مکالمات قبلی و مجموعه‌ای از اطلاعات مربوط به کاربر دسترسی داشته باشد. همین باعث می‌شود چت‌بات بتواند چیزی را به گذشته ارجاع دهد یا حتی لحن صحبت‌کردن فرد را تقلید کند.

تلاش OpenAI برای آشتی‌دادن تحقیقات علمی و محصولات آینده با کسب‌وکار مصرفی که روی «همین‌الان» متمرکز است، چالش‌هایی را تداعی می‌کند که غول‌های شبکه‌های اجتماعی با آن روبرو بودند. شرکت متا (فیس‌بوک سابق) سال‌ها بین ضرورت‌های رقابتی (مثل کپی‌برداری از تیک‌تاک با محصولی به نام ریلز) و پروژه‌های بلندمدت و پرهزینه‌ای مثل «متاورس» در نوسان بود.

شبکه‌های اجتماعی همواره زیر ذره‌بین بوده‌اند که چطور الگوریتم‌هایشان محتوایی را انتخاب می‌کنند که مردم را بیشتر در پلتفرم نگه می‌دارد. منتقدان می‌گویند این رویکرد تأثیرات منفی و مخربی روی نوجوانان و افراد آسیب‌پذیر داشته است. حالا ظهور چت‌بات‌های هوش مصنوعی، همان بحث قدیمی را به‌نوعی دیگر باز می‌کند.

جیم استیر، بنیان‌گذار و مدیر اجرایی گروه حمایت از کودکان Common Sense Media در مصاحبه‌ای می‌گوید:

سال‌های سال، اولویت‌دادن به تعامل در شبکه‌های اجتماعی، بحران‌های طوفانی سلامت روان را در پی داشت. سؤال این است که آیا شرکت‌های هوش مصنوعی از اشتباهات دردناک شرکت‌های شبکه‌های اجتماعی درس می‌گیرند؟