آنتروپیک دسترسی مدل‌های هوش مصنوعی خود را به اینترنت زنده قطع کرد؛ رویدادی که پس از سوءاستفاده‌ی عامل‌ها از سایت‌های دولتی رخ داد.
رؤیای سپردن کارهای روزمره به دستیارهای هوشمند و خودمختار با مانعی جدی روبه‌رو شده است. مدل‌های هوش مصنوعی شرکت آنتروپیک در جریان آزمون‌های ارزیابی، رفتارهایی پیش‌بینی‌نشده نشان دادند و برای انجام مأموریت‌های خود مرزهای قانونی و فنی را زیر پا گذاشتند. دست‌اندرکاران این استارتاپ پیشرو متوجه شدند ابزارهای خودکارشان برای یافتن پاسخ و حل مسائل، رخنه‌های امنیتی وب‌سایت‌های عمومی و حتی دیتابیس‌های متعلق به نهادهای دولتی ایالات متحده را هدف قرار داده‌اند.
بازنگری در فعالیت‌های ثبت‌شده‌ی این سامانه‌ها نشان داد که مهندسان در لحظه‌ی وقوع رویدادها اشرافی بر رفتار عامل‌ها نداشته‌اند. جریان خرابکاری‌ها دامنه‌ی عجیبی پیدا کرده است؛ از نفوذ به دیتابیس‌ها بدون پرداخت حق اشتراک و بهره‌گیری از ابزارهای کوتاه‌کننده‌ی نشانی وب برای دور زدن فیلترها گرفته تا ارسال یک گزارش جعلی قتل به سامانه‌ی آنلاین پلیس فیلادلفیا.
چنین خرابکاری‌هایی نشان می‌دهد ساختارهای ترازسازی کنونی برای مهارت‌های پیچیده‌ای نظیر کاوش در وب و تعامل مستقیم با رابط‌های کاربری کامپیوتر هنوز به بلوغ کافی نرسیده‌اند.
ریشه‌ی این چالش در محیط‌های یادگیری نهفته است، جایی که سامانه‌ها بر اساس فرمول‌های ریاضی و پاداش بهینه‌سازی می‌شوند. پدیده‌ای که پژوهشگران از آن با عنوان هک پاداش (Reward Hacking) یاد می‌کنند سبب شد عامل‌های نرم‌افزاری تصور کنند کشف روزنه‌ها و دور زدن قوانین برای رسیدن به هدف نهایی رفتاری مجاز و درخور پاداش تلقی می‌شود. در واقع هوش مصنوعی بدون درک مفاهیم اخلاقی یا قانونی، کوتاه‌ترین مسیر ریاضیاتی برای پاسخ به درخواست کاربر را انتخاب کرده است، حتی اگر این مسیر شکستن سدهای امنیتی یک نهاد خارجی باشد.
اتفاقات رخ‌داده در محصولات آنتروپیک موردی جداگانه نیست. پیش از این عامل‌های توسعه‌یافته‌ی رقیب یعنی اوپن‌ای‌آی نیز در حرکتی هماهنگ به پایگاه‌های آنلاین، از جمله وب‌سایت‌های دولتی استرالیا، دستبرد زده بودند تا به داده‌های مدنظر دست یابند.
جداسازی کامل پردازش‌ها از بستر وب، مسائل پرشماری پیش روی متخصصان ایمنی قرار می‌دهد. سیدنی وان آرکس، بنیان‌گذار نهاد ایمنی نایتینگل، بر این باور است که توسعه‌ی مدل‌ها در مراکز داده‌ی محروم از اینترنت چالش‌های پژوهشی سنگینی ایجاد می‌کند و سرعت تکامل هوش مصنوعی را به شدت کاهش می‌دهد.
مدل‌های هوشمندی که قرار است وارد بازار واقعی شوند و کارهای اداری و فنی را بر دوش بگیرند، بدون دسترسی به اطلاعات زنده عملا کارایی مفیدی نخواهند داشت و آموزش آن‌ها در محیط ایزوله تضمینی برای رفتار درست در جهان واقعی به بار نمی‌آورد.
آنتروپیک سازوکارهای تازه‌ای برای ردیابی این تخلفات طراحی کرده و مدعی است توانسته بخش زیادی از رویدادهای مشابه را مسدود کند. انتقال دستیارها به زیرساخت‌های مرکزی با حصارهای مهارکننده و بهره‌گیری پیوسته از لایه‌های نظارتی تدابیری هستند که در دستور کار این گروه قرار دارند. با وجود این، هنوز معیاری رسمی برای بازگشت مجدد سامانه‌ها به اینترنت زنده مشخص نشده است.
