پرش به محتوای اصلی

دادستانی کالیفرنیا: اوپن‌ای‌آی «دست‌کم ۸۰ بار» کنترل عامل‌های هوش مصنوعی را از دست داد

مطالعه ۳ دقیقه
لوگو OpenAI اوپن ای آی رنگ آبی

دادستانی کالیفرنیا از اوپن‌ای‌آی شکایت کرد و مدعی شد این شرکت دست‌کم ۸۰ بار کنترل عامل‌های هوش مصنوعی خود را هنگام آزمایش از دست داده است.

شرکت اوپن‌ای‌آی با پرونده‌ی حقوقی تازه‌ای روبه‌رو شده است که مستقیماً به امنیت مدل‌های هوش مصنوعی و خطرهای ناشی از فعالیت خودکار آن‌ها مربوط می‌شود. دادستانی کالیفرنیا مدعی است این شرکت با وجود آگاهی از احتمال خروج عامل‌های هوش مصنوعی از محیط‌های آزمایشی، اقدامات نظارتی و امنیتی کافی برای جلوگیری از دسترسی غیرمجاز آن‌ها به سامانه‌های دیگر انجام نداده است.

پرونده پس از افشای حادثه‌ی سایبری تابستان امسال مطرح شده است؛ زمانی که عامل‌های هوش مصنوعی متعلق به OpenAI هنگام انجام آزمایش‌های امنیتی، از محدودیت‌های محیط آزمایش عبور کردند و به زیرساخت‌های پلتفرم هاگینگ‌فیس (Hugging Face) دسترسی پیدا کردند.

دادستانی اکنون ادعا می‌کند این حادثه موردی استثنایی نبوده و OpenAI پیش‌تر نیز بارها کنترل رفتار عامل‌های خودکارش را از دست داده است.

یکی از مهم‌ترین بخش‌های شکایت به اطلاعاتی مربوط می‌شود که ظاهراً OpenAI در جریان تحقیقات در اختیار دفتر دادستان کل کالیفرنیا قرار داده است. براساس بیانیه‌ی رسمی دادستانی، OpenAI پذیرفته است که هنگام آزمایش مدل‌های هوش مصنوعی، دست‌کم ۸۰ بار کنترل عامل‌های خودکارش را از دست داده است.

دادستانی می‌گوید شرکت به پرسش‌های تفصیلی درباره‌ی این موارد پاسخ کافی نداده و اطلاعات لازم برای بررسی کامل آن‌ها را ارائه نکرده است.

عامل هوش مصنوعی یا AI Agent به سامانه‌ای گفته می‌شود که می‌تواند برای رسیدن به یک هدف مشخص، مجموعه‌ای از اقدامات را به‌صورت خودکار انجام دهد؛ از اجرای کد و استفاده از ابزارهای نرم‌افزاری گرفته تا تعامل با سرویس‌های آنلاین.

در آزمایش‌های امنیت سایبری، چنین عامل‌هایی ممکن است مأمور پیدا‌کردن آسیب‌پذیری در یک سامانه‌ی مشخص شوند. مشکل زمانی ایجاد می‌شود که عامل به‌جای محدودماندن به محیط مجاز، از ابزارهای در دسترس خود برای ورود به شبکه‌ها یا سرویس‌های واقعی استفاده کند.

دادستانی کالیفرنیا معتقد است OpenAI هنگام آزمایش مدل‌های پیشرفته، خطر چنین رفتاری را به‌اندازه‌ی کافی کنترل نکرده است. راب بونتا در بیانیه‌ی خود اعلام کرد که حمله به هاگینگ‌فیس نتیجه‌ی قابل‌پیش‌بینی رویکردی در OpenAI بوده که به‌ادعای او، رشد سریع و توسعه‌ی مدل‌ها را بر ایمنی و پاسخ‌گویی مقدم دانسته است.

شکایت کالیفرنیا در شرایطی مطرح شده است که نگرانی درباره‌ی توانایی مدل‌های پیشرفته‌ی هوش مصنوعی برای اجرای خودکار حملات سایبری افزایش یافته.

برخلاف نرم‌افزارهای سنتی که معمولاً مجموعه‌ای از دستورهای ازپیش‌تعیین‌شده را اجرا می‌کنند، عامل‌های هوش مصنوعی می‌توانند برای رسیدن به هدف خود راهکارهای تازه پیدا کنند و از ابزارهای مختلف استفاده کنند.

این قابلیت در کارهایی مانند کشف آسیب‌پذیری‌های امنیتی مفید است، اما اگر محدودیت‌های دسترسی درست اعمال نشوند، می‌تواند به رفتارهایی خارج از محدوده‌ی موردنظر توسعه‌دهنده منجر شود.

پرونده‌ی جدید قرار است مشخص کند آیا OpenAI در آزمایش این سیستم‌ها الزامات قانونی مربوط به ایمنی و حمایت از مصرف‌کننده را رعایت کرده است یا خیر.

مقاله رو دوست داشتی؟
نظرت چیه؟

به محتوای این مطلب چه امتیازی میدی؟

نظر شما برامون مهمه و به بهتر شدن کیفیت مطالب کمک می‌کنه.

۱ - بسیار بد۱۰ - بسیار خوب

نظرات

از دیگر اعضاء خانواده قلم