چهار شرکت اوپن‌ای‌آی، گوگل، مایکروسافت و آنتروپیک استاندارد جدیدی را برای مسدودسازی خزش محتوای وبسایت‌ها توسط هوش مصنوعی پذیرفتند.
غول‌های پیشرو در عرصه هوش مصنوعی از یک سازوکار تازه پشتیبانی می‌کنند که به مدیران وبسایت‌ها اجازه می‌دهد با یک فرمان واحد، مانع از جمع‌آوری محتوای خود برای آموزش مدل‌ها شوند. اوپن‌ای‌آی، گوگل، مایکروسافت و آنتروپیک اعلام کردند ابزار مشترکی را به کار خواهند گرفت تا ناشران به‌جای تنظیمات جداگانه، تصمیم خود را یک‌جا به همه سرویس‌ها اعمال کنند.
توکن خط‌مشی مشترک از سوی کوین کلی، مدیر فنی استانداردهای آنتروپیک، در کارگروه مهندسی اینترنت (IETF) پیشنهاد شد. این سازوکار درون فایل robots.txt قرار می‌گیرد که سال‌ها است وظیفه‌ی مشخص‌کردن دسترسی خزنده‌های وب را بر عهده دارد. در حال حاضر، وبسایت‌ها ناچارند ترجیحات مربوط به آموزش هوش مصنوعی را برای هر شرکت به‌طور مجزا تعریف کنند.
سازمان‌ها و توسعه‌دهندگان گوناگون تاکنون تلاش‌های متعددی برای مقابله با خزش غیرمجاز داشته‌اند؛ از جمله پروتکل RSL که امکان دریافت هزینه از خزنده‌ها را فراهم کرد یا کلادفلر که مسدودسازی این بات‌ها را به‌شکل پیش‌فرض فعال کرد. شرکت‌های اصلی پذیرنده استاندارد جدید تأیید کرده‌اند که در صورت مشاهده این توکن مشترک، دسترسی خزنده‌های خود را محدود خواهند ساخت.
اندی استون، مدیر ارتباطات متا، گفت: «ما بر این باوریم که ایجاد یک سیگنال مشترک برای انتقال چنین ترجیحاتی به چندین ارائه‌دهنده به‌صورت هم‌زمان، گامی مهم به شمار می‌رود. مشتاقانه منتظر همکاری با سایر فعالان حوزه هوش مصنوعی روی این استانداردها و پیاده‌سازی آن‌ها در کل صنعت هستیم.»
مایکروسافت امکانات دقیق‌تری ارائه خواهد داد تا وبسایت‌ها بتوانند علاوه بر آموزش مدل، فرآیند اتصال به منابع معتبر را هم غیرفعال کنند، بدون اینکه رتبه آن‌ها در نتایج موتور جست‌وجوی بینگ تحت‌تاثیر قرار گیرد.
گوگل نیز پیش‌تر سازوکار مشابهی را برای بخش نتایج جست‌و‌جو پیاده‌سازی کرده بود. در حال حاضر، آنتروپیک استفاده از این استاندارد را آغاز کرده است، اوپن‌ای‌آی آن را طی ماه‌های آینده عملیاتی می‌کند و گوگل به همراه مایکروسافت اجرای آن را در سال میلادی آینده در پیش خواهند گرفت.
