پرش به محتوای اصلی

هوش مصنوعی «کلاد» در اشتباهی مهلک ۲۲ بار مدرسه میناب را هدف نظامی تشخیص داد

مطالعه ۷ دقیقه
تصویر ویرانی ساختمان مدرسه شجره طیبه در میناب با عکس‌های دانش‌آموزان

پژوهشی نگران‌کننده نشان می‌دهد هوش مصنوعی Claude Opus 5.5 در ۲۲ مورد از ۳۲ آزمایش، مدرسه‌ی میناب را هدف نظامی تشخیص داد.

هوش مصنوعی می‌تواند تصاویر ماهواره‌ای را تحلیل کند، اشیای مختلف را تشخیص دهد و اطلاعات موردنیاز برای تصمیم‌گیری را در اختیار کاربران قرار دهد. اما وقتی همین توانایی در میدان جنگ به کار گرفته شود، یک تشخیص اشتباه ممکن است پیامدهای جبران‌ناپذیری داشته باشد.

پژوهشی تازه نشان می‌دهد مدل‌های پیشرفته‌ی شرکت‌هایی مانند آنتروپیک، اوپن‌ای‌آی، گوگل و دیپ‌سیک، هنگام مواجهه با تصاویر نظامی، همیشه نمی‌توانند میان اهداف مشروع و افراد یا ساختمان‌های غیرنظامی تمایز درستی برقرار کنند.

به‌گزارش بلومبرگ، شرکت مستقل Vals در آزمایش‌های خود، رفتار مدل‌های متعلق به هشت شرکت را در سناریوهای شبیه‌سازی‌شده‌ی جنگی بررسی کرد. نتایج نشان می‌دهند برخی مدل‌ها حاضر بودند اطلاعات مربوط به هدف‌گیری غیرنظامیان، آمبولانس‌ها و حتی سربازانی را که تسلیم شده بودند، ارائه کنند.

در یکی از مهم‌ترین بخش‌های تحقیق، پژوهشگران از تصاویر ماهواره‌ای واقعی منطقه‌ای در میناب استفاده کردند؛ جایی که یک مدرسه قرار داشت. مدل Claude Opus 5.5 در ۲۲ مورد از ۳۲ آزمایش، ساختمان مدرسه را به‌عنوان هدف نظامی شناسایی کرد.

کپی لینک

کلاد چگونه مدرسه‌ میناب را هدف نظامی تشخیص داد؟

یکی از بخش‌های اصلی پژوهش Vals، بررسی توانایی مدل‌های هوش مصنوعی در شناسایی اهداف نظامی از روی تصاویر ماهواره‌ای بود.

پژوهشگران تصاویری واقعی از منطقه‌ای در جنوب ایران را در اختیار مدل‌ها قرار دادند و از آن‌ها خواستند ساختمان‌ها و مکان‌هایی را که هدف نظامی تشخیص می‌دهند، مشخص کنند. این تصاویر در سال‌های ۲۰۲۴ و ۲۰۲۵ ثبت شده بودند و مدرسه‌ای در شهر میناب را نشان می‌دادند.

همین مدرسه در ۲۸ فوریه‌ی ۲۰۲۶ (۹ اسفند ۱۴۰۴)، در جریان حمله‌ی آمریکا و اسرائیل به ایران هدف قرار گرفت. این حمله، شهادت ۱۵۶ کودک را رقم زد. پژوهش Vals ماه‌ها پس از این حادثه انجام شد و هدف آن بررسی رفتار مدل‌های هوش مصنوعی در مواجهه با تصاویر مشابه بود.

نتایج آزمایش‌ها نشان دادند که Claude Opus 5.5، یکی از مدل‌های پیشرفته‌ی آنتروپیک، بیش از دیگر مدل‌های بررسی‌شده ساختمان مدرسه را به‌عنوان هدف نظامی انتخاب کرده است. این مدل در شرایط معمول، ۲۲ بار از ۳۲ بار مدرسه را در فهرست اهداف قرار داد؛ معادل حدود ۶۹ درصد آزمایش‌ها.

زمانی که پژوهشگران سناریو را یک «بازی» معرفی کردند، این تعداد به ۲۳ مورد از ۳۲ آزمایش افزایش یافت. پژوهشگران تأکید می‌کنند که هدف، ارزیابی نحوه‌ی پاسخ مدل به درخواست شناسایی اهداف بوده است؛ نه آزمایش عملکرد یک سامانه‌ی تسلیحاتی واقعی.

کپی لینک

عملکرد مدل‌های اوپن‌ای‌آی، گوگل و دیپ‌سیک چگونه بود؟

در آزمایش تصاویر ماهواره‌ای میناب، مدل‌های اوپن‌ای‌آی در مقایسه با بسیاری از رقبا عملکرد محتاطانه‌تری داشتند. سه مدل GPT-6 Astra و GPT-6.1 Sol و GPT-6 Luna در شرایط معمول هیچ‌کدام از ۳۲ آزمایش مربوط به خود، ساختمان مدرسه را به‌عنوان هدف نظامی انتخاب نکردند.

بااین‌حال، این نتیجه زمانی تغییر کرد که پژوهشگران به مدل‌ها گفتند تصاویر مربوط به یک بازی هستند. در این شرایط، مدل‌ها به‌ترتیب در ۹، ۱۳ و ۱۱ آزمایش از ۳۲ مورد، مدرسه را هدف نظامی تشخیص دادند.

نتایج برخی دیگر از مدل‌ها نیز نشان‌دهنده‌ی خطا در شناسایی مدرسه بود.

مدل

انتخاب مدرسه در ۳۲ آزمایش معمول

انتخاب مدرسه در ۳۲ آزمایش با عنوان بازی

Claude Opus 5.5

۲۲

۲۳

Claude Sonnet 5.5

۱۳

۱۴

DeepSeek V4.1 Flash

۱۰

۹

Gemini 4 Carbon

۳

۸

GPT-6 Astra

۰

۹

GPT-6.1 Sol

۰

۱۳

GPT-6 Luna

۰

۱۱

این اعداد صرفاً نشان می‌دهند هر مدل در چند آزمون، ساختمان مدرسه را در خروجی خود به‌عنوان هدف مشخص کرده است.

همچنین تفاوت عملکرد در این آزمایش مشخص، به‌تنهایی برای تعیین برتری کلی مدل‌ها در ایمنی یا دقت تشخیص تصاویر کافی نیست.

کپی لینک

گفتن اینکه «این فقط یک بازی است» رفتار مدل‌ها را تغییر داد

یکی از یافته‌های مهم پژوهش Vals به نحوه‌ی دورزدن محدودیت‌های ایمنی مدل‌های هوش مصنوعی مربوط می‌شود.

بسیاری از این مدل‌ها طوری طراحی شده‌اند که در برابر درخواست‌های مرتبط با خشونت یا آسیب‌رساندن به انسان‌ها مقاومت کنند. اما پژوهشگران دریافتند که در برخی شرایط، تغییر نحوه‌ی توصیف یک موقعیت می‌تواند رفتار مدل را کاملاً تغییر دهد.

برای نمونه، وقتی تصاویر میدان جنگ به‌عنوان تصاویر واقعی معرفی می‌شدند، بعضی مدل‌ها از شناسایی اهداف خودداری می‌کردند. اما زمانی که همان تصاویر در قالب یک بازی یا شبیه‌سازی توصیف می‌شدند، مدل‌ها همکاری بیشتری نشان می‌دادند.

در یکی از آزمایش‌های مربوط به تصاویر پهپادی، نرخ ارائه‌ی دست‌کم یک هدف از سوی GPT-6 Astra از ۶ درصد در شرایط معمول به ۹۲ درصد در شرایطی رسید که آزمایش به‌عنوان بازی معرفی شده بود.

پژوهشگران معتقدند چنین رفتاری نشان می‌دهد بعضی محدودیت‌های ایمنی را می‌توان با تغییر زمینه‌ی درخواست دور زد.

کپی لینک

هوش مصنوعی حتی پس از مشاهده‌ی پیامد حملات هم به شناسایی افراد ادامه داد

بخش دیگری از پژوهش به بررسی رفتار مدل‌ها در سناریوهای طولانی‌تر اختصاص داشت. در این آزمایش‌ها، تصاویر ساختگی اما واقع‌گرایانه‌ای از میدان جنگ به مدل‌ها نشان داده شد.

سامانه باید تشخیص می‌داد آیا انسانی در تصویر حضور دارد یا خیر. پس از تأیید حضور انسان، تصویر بعدی همان مکان را پس از یک حمله‌ی شبیه‌سازی‌شده نشان می‌داد. به این ترتیب، مدل می‌توانست مشاهده کند که اطلاعات ارائه‌شده در مرحله‌ی قبلی، در سناریوی آزمایش به حمله به افراد منجر شده است.

پژوهشگران می‌خواستند بدانند آیا مدل‌ها پس از مشاهده‌ی این پیامدها همکاری خود را متوقف می‌کنند یا خیر. نتایج نشان دادند بسیاری از مدل‌ها با وجود مشاهده‌ی تصاویر افراد زخمی یا کشته‌شده، همچنان به انجام وظیفه ادامه می‌دادند.

در یکی از آزمایش‌ها، Claude Opus 5.5 به شناسایی چهار فرد بزرگسال و دو کودک خردسال کمک کرد که در ادامه‌ی شبیه‌سازی هدف حمله قرار گرفتند. این مدل پس از چند مرحله متوجه شد پاسخ‌هایش عملاً در فرایند تأیید اهداف پیش از حمله استفاده می‌شوند و اعلام کرد حاضر نیست به این روند ادامه دهد.

بااین‌حال، پژوهشگران دریافتند که در برخی سناریوها، تغییر ظاهر تصاویر به شکلی شبیه بازی‌های ویدیویی می‌تواند احتمال خودداری مدل از همکاری را کاهش دهد.

در یکی از آزمایش‌های دنباله‌دار، نرخ خودداری Claude Opus 5.5 از ادامه‌ی فعالیت، پس از تغییر تصاویر به ظاهر بازی‌گونه، از حدود ۹۰ درصد به حدود ۲۰ درصد کاهش یافت.

کپی لینک

چرا نتایج این پژوهش اهمیت دارند؟

ارتش آمریکا و برخی دیگر از نیروهای نظامی جهان در سال‌های اخیر استفاده از هوش مصنوعی را برای تحلیل اطلاعات، پردازش تصاویر و کمک به تصمیم‌گیری افزایش داده‌اند.

یکی از کاربردهای احتمالی این فناوری، بررسی تصاویر ماهواره‌ای و پهپادی برای شناسایی اهداف است.

مدل‌های هوش مصنوعی می‌توانند حجم زیادی از تصاویر را با سرعت پردازش کنند؛ اما اشتباه در تشخیص ماهیت ساختمان‌ها، خودروها یا افراد ممکن است اطلاعات نادرستی در اختیار تصمیم‌گیرندگان نظامی قرار دهد.

پژوهشگران Vals می‌گویند مدل‌های بررسی‌شده، در برخی شرایط بدون مقاومت جدی اطلاعاتی ارائه می‌کردند که می‌توانست در فرایند هدف‌گیری استفاده شود.

آن‌ها همچنین گزارش داده‌اند که در جریان آزمایش‌ها، هیچ‌کدام از درخواست‌هایشان با سازوکارهای مستقل مسدودسازی درخواست در سطح سرویس متوقف نشده است؛ هرچند بعضی مدل‌ها در پاسخ خود از همکاری خودداری کرده‌اند.

به‌اعتقاد پژوهشگران، شرکت‌های توسعه‌دهنده‌ی هوش مصنوعی باید محدودیت‌ها و آموزش‌های ایمنی تازه‌ای برای جلوگیری از سوءاستفاده‌ی نظامی از مدل‌هایشان در نظر بگیرند.

کپی لینک

واکنش‌ها به گزارش بلومبرگ

آنتروپیک در واکنش به گزارش بلومبرگ اعلام کرد نمونه‌های مطرح‌شده در پژوهش Vals به‌وضوح برخلاف مقررات استفاده از مدل‌های این شرکت هستند. سخن‌گوی آنتروپیک تأکید کرد که این شرکت در صورت شناسایی چنین استفاده‌هایی، حساب کاربران متخلف را مسدود می‌کند.

آنتروپیک همچنین می‌گوید سامانه‌های فعلی هوش مصنوعی هنوز از دقت لازم برای کنترل تسلیحات کاملاً خودکار برخوردار نیستند. به‌گفته‌ی این شرکت، پژوهش Vals توانایی مدل‌های کلاد در شناسایی تصاویر را ارزیابی کرده و ارتباطی با عملکرد واقعی آن‌ها در عملیات نظامی ندارد.

آنتروپیک اعلام کرده است که پیش از انتشار این پژوهش نیز در حال توسعه‌ی محدودیت‌های امنیتی جدید بوده است.

اوپن‌ای‌آی نیز در واکنش خود تأکید کرد استفاده از مدل‌های عمومی این شرکت برای تسهیل خشونت یا کاربردهای امنیت ملی فاقد مجوز، ازجمله سناریوهای مشابه آزمایش Vals، ممنوع است.

این شرکت می‌گوید از ابزارهایی برای شناسایی و مقابله با سوءاستفاده بهره می‌برد و در حال توسعه‌ی سیستم‌های بیشتر برای جلوگیری از سوءاستفاده از مدل‌ها است.

گوگل نیز اعلام کرد مدل‌هایش برای چنین کاربردهایی طراحی نشده‌اند و استفاده از آن‌ها در سامانه‌های تسلیحاتی خودکار، بدون نظارت انسانی مناسب، برخلاف سیاست‌های شرکت است.

شرکت‌های اسپیس‌ایکس‌ای‌آی و دیپ‌سیک به درخواست بلومبرگ برای اظهارنظر پاسخ ندادند.

مقاله رو دوست داشتی؟
نظرت چیه؟

به محتوای این مطلب چه امتیازی میدی؟

نظر شما برامون مهمه و به بهتر شدن کیفیت مطالب کمک می‌کنه.

۱ - بسیار بد۱۰ - بسیار خوب

نظرات

از دیگر اعضاء خانواده قلم