تعصب خطرناک مدل‌های زبانی؛ هوش مصنوعی در استخدام بیش از انسان سوگیری دارد

دفعه‌ی بعد که برای شغلی درخواست می‌دهید، ممکن است اولین کسی که رزومه‌ی شما را می‌بیند، هوش مصنوعی باشد. بسیاری از شرکت‌ها از مدل‌های زبانی بزرگ برای غربال اولیه‌ی متقاضیان استفاده می‌کنند. اما آیا این مدل‌ها می‌توانند منصفانه قضاوت کنند؟

پژوهشگران دانشگاه پرینستون و دانشگاه شیکاگو دریافته‌اند که این مدل‌ها نه تنها سوگیری‌های انسانی را از داده‌های خود یاد می‌گیرند، بلکه می‌توانند به مرور زمان و براساس تجربه، کلیشه‌های جدید و قوی‌تری نسبت به انسان‌ها شکل دهند.

پژوهشگران مدل‌های زبانی بزرگی مانند چت‌جی‌پی‌تی، کلود و جمنای را در بازی شبیه‌سازی‌شده‌ی استخدام قرار دادند. این بازی که از یک مطالعه‌ی روان‌شناسی الهام گرفته شده بود، نحوه‌ی شکل‌گیری کلیشه‌ها در انسان‌ها را بررسی می‌کرد.

در شبیه‌سازی، به هر مدل گفته شد به عنوان مشاور شهردار یک شهر خیالی فعالیت می‌کند و باید برای ۲۰ شغل مختلف، از پزشک و وکیل گرفته تا کمک‌مربی کودک و سرایدار، افراد مناسبی را انتخاب کند.

هدف مدل این بود که درطول ۴۰ مرحله، بیشترین تعداد استخدام‌های موفق را داشته باشد. آنچه از دید مدل‌ها پنهان باقی مانده بود، این واقعیت بود که در طراحی آزمایش، همه‌ی افراد شانس موفقیت یکسانی در تمام موقعیت‌های شغلی داشتند.

به نوشته ام‌آی‌تی تکنالجی ریویو، مدل‌های هوش مصنوعی خیلی زود، یعنی فقط پس از چند دور استخدام، تفکیک متقاضیان براساس گروه قومی‌شان را آغاز و آن‌ها را به سمت مشاغل خاص هدایت کردند. این کار براساس مشاهدات اولیه‌ی مدل از نتایج استخدام انجام می‌شد. برای مثال، وقتی به مدلی گفته می‌شد فردی از گروه آیما به عنوان پزشک شکست خورده است، مدل از استخدام همه‌ی افراد آیما به عنوان پزشک خودداری و آن‌ها را به مشاغلی با سطح پایین‌تر، مانند سرایداری هدایت می‌کرد.

نکته‌ی جالب‌تر این است که هرچه مدل‌های هوش مصنوعی باهوش‌تر و توانمندتر در استدلال باشند، سوگیری آن‌ها هم بیشتر می‌شود. مثلاً مدل‌های جدیدی مثل o3 از شرکت اوپن‌ای‌آی و R1 از شرکت دیپ‌سیک، در مقایسه با مدل‌های ساده‌تر، تعصب قوی‌تری از خود نشان دادند.

برای آنکه شدت سوگیری هوش مصنوعی بهتر درک شود، پژوهشگران از یک «مقیاس جداسازی» استفاده کردند. این مقیاس مانند خط‌کش از ۰ تا ۲ عمل می‌کند؛ نمره‌ی ۰ یعنی هیچ گونه تبعیضی وجود ندارد و افراد از همه‌ی گروه‌های قومی به طور یکسان در همه‌ی مشاغل پراکنده هستند. در مقابل، نمره‌ی ۲ یعنی بدترین حالت ممکن: هر گروه قومی کاملاً به یک شغل خاص محدود شده است (مثلاً همه‌ی افراد یک گروه فقط سرایدار شوند و گروه دیگر فقط پزشک).

در این آزمایش، شرکت‌کنندگان انسانی نمره‌ی ۰٫۸۴ را کسب کردند که نشان می‌دهد آن‌ها تا حدی، اما نه خیلی زیاد، دچار کلیشه‌سازی شدند. اما مدل‌های هوش مصنوعی به طور میانگین حدود ۶۵ درصد بدتر از انسان‌ها عمل کردند و نمره‌ی بالاتری گرفتند. (به شرکت‌کنندگان واقعی یعنی انسان‌ها هم همان سناریو داده شد: آنها باید برای مشاغل مختلف، از بین نامزدهایی با گروه‌های قومی ساختگی انتخاب می‌کردند و پس از هر انتخاب، از موفقیت یا شکست آن شخص مطلع می‌شدند.)

دلیل این رفتار به ذات مدل‌های زبانی بزرگ برمی‌گردد. این مدل‌ها طوری طراحی شده‌اند که از روی چند مثال معدود، الگوهای کلی بسازند و به سرعت نتیجه‌گیری کنند. رایان لیو، از پژوهشگران مطالعه، می‌گوید این مدل‌ها واقعاً مشتاق‌اند تا از داده‌های کم، نتیجه‌گیری کلی کنند و دقیقاً برای همین کار بهینه شده‌اند. این ویژگی در حل مسائل ریاضی یا کدنویسی بسیار مفید است، اما وقتی پای مسائل اجتماعی و انسانی به میان می‌آید، همین سرعت در نتیجه‌گیری، باعث می‌شود مدل‌ها به سرعت به کلیشه‌های نادرست و تعصب‌آمیز روی بیاورند.

اهمیت یافته‌های مطالعه زمانی بیشتر می‌شود که بدانیم شرکت‌های سازنده‌ی هوش مصنوعی درحال رقابت برای ساخت چت‌بات‌هایی هستند که بتوانند جزئیات کاربران را به خاطر بسپارند و تعاملات شخصی‌سازی‌شده‌ای ارائه دهند.

آنجلینا وانگ، دانشمند کامپیوتر از دانشگاه کرنل، می‌گوید که قابلیت حافظه‌ی بلندمدت، هرچند مفید است، می‌تواند باعث شود چت‌بات‌ها «بیش از حد به همان رفتارهای قبلی که دیده‌اند، تکیه کنند» و در نتیجه، سوگیری‌های خود را تقویت کنند و به جای رفتار منعطف، به کلیشه‌های قدیمی‌تر خود بچسبند.

شاید فکر کنید اگر حافظه‌ی چت‌بات را کم کنیم، سوگیری‌هایش هم کمتر می‌شود، اما این راه‌حل بی‌فایده است. چون کاربران دوست دارند چت‌بات، صحبت‌های قبلی‌شان را به خاطر بسپارد و یک مکالمه‌ی پیوسته و شخصی داشته باشد. به گفته‌ی آنجلینا وانگ، چالش این است که مقدار حافظه را طوری تنظیم کنیم که نه کم باشد که چت‌بات همه‌چیز را فراموش کند و بی‌ربط حرف بزند، و نه زیاد باشد که به خاطر سپردن جزئیات، باعث شود تعصب‌هایش را بیشتر کند.

پژوهشگران چند راهکار را برای کاهش سوگیری مدل‌ها امتحان کردند. اول اینکه به مدل‌ها گفتند منصف باشند، اما این کار تأثیر چندانی نداشت و مدل‌ها همچنان به رفتارهای متعصبانه‌ی خود ادامه دادند. اما وقتی به مدل‌ها وعده‌ی پاداش اضافی برای استخدام متنوع داده شد، نتیجه کاملاً متفاوت بود و مدل‌ها به طور چشمگیری بی‌طرف‌تر شدند.

هنوز مشخص نیست این سوگیری‌ها در دنیای واقعی چقدر می‌توانند روی فرآیند استخدام تأثیر بگذارند. در آزمایش، مدل‌ها بلافاصله متوجه می‌شدند که یک استخدام موفق بوده یا نه، اما در عمل، ممکن است ماه‌ها یا حتی سال‌ها طول بکشد تا شرکتی بفهمد کارمند جدید چقدر خوب عمل کرده است. با‌این‌حال، با توجه به اینکه روزبه‌روز شرکت‌های بیشتری از هوش مصنوعی برای بررسی رزومه‌ها و حتی مصاحبه استفاده می‌کنند، این کشف که مدل‌ها می‌توانند از تجربیات گذشته‌ی خود سوگیری بسازند، زنگ خطری جدی است که نباید نادیده گرفته شود.

رایان لیو در پایان هشدار می‌دهد که با گسترش استفاده از مدل‌های زبانی بزرگ در تصمیم‌گیری‌های سرنوشت‌ساز مانند استخدام، اعطای وام یا حتی آزادی مشروط، ممکن است سوگیری‌های جدیدی پدید آیند که هیچ انسانی به آن‌ها آموزش نداده است. این سوگیری‌ها، برخلاف نمونه‌های قبلی، ریشه در داده‌های آموزشی ندارند، بلکه از تجربه‌ی خود مدل‌ها و نحوه‌ی تعاملشان با دنیا شکل می‌گیرند. لیو تأکید می‌کند که این پدیده، چالشی جدی برای توسعه‌دهندگان و نهادهای نظارتی محسوب می‌شود و نیازمند توجه فوری و راه‌حل‌های مؤثر است.

پژوهش در چهل و سومین کنفرانس بین‌المللی یادگیری ماشین (ICML 2026) ارائه شده است.