جنگ‌افزارهای خودمختار؛ کابوسی از جنس هوش مصنوعی و در آستانه تحقق

تا چند وقت پیش می‌خواستم درباره‌ی جنگ شرکت‌های بزرگ تکنولوژی بر سر موتورهای جستجوی مبتنی‌بر هوش مصنوعی بنویسم؛ اما حالا دارم درباره‌ی جنگ‌های واقعی و سلاح‌های جنگی مبتنی‌بر هوش مصنوعی می‌نویسم.

تماشای ویدیو در یوتیوب

من معمولا از آن مدل افرادی هستم که دید خوش‌بینانه‌ای به آینده‌ی تکنولوژی دارند و با هیجان و اشتیاق، پیشرفت‌های این حوزه را دنبال می‌کنند. اما راستش را بخواهید، چند وقتی است که تیتر اخبار مربوط به استفاده از سیستم‌های هوش مصنوعی در جنگ مرا نگران کرده است.

جت جنگنده ارتش آمریکا ۱۷ ساعت با هوش مصنوعی پرواز کرد. سربازان ارتش استرالیا، سگ‌های رباتیک را با ذهن کنترل می‌کنند. ویدیوی وایرال‌شده تمرین نظامی رباتی چهارپا که اسلحه‌ی گرم با خود حمل می‌کند و قدرت کشتار بالایی دارد. ارتش فرانسه در تمرینات نظامی از ربات چهارپای شرکت بوستون داینامیکس استفاده می‌کند. ویدیویی از شنا سوئدی هماهنگ ده‌ها ربات چهارپای چینی.

این‌ها فقط چند نمونه از اخباری است که در چند ماه گذشته، توجه را به وجه تاریک‌تر و ترسناک‌تر سیستم‌های هوش مصنوعی جلب کرده است؛ درحالی‌که اکثر ما سرمان به ChatGPT گرم بود تا تکالیف مدرسه‌مان را انجام دهد یا به سوال‌هایمان درباره قدرت خرید آیفون در ایران جواب دهد، عده‌ی دیگری داشتند به‌طور جدی به استفاده از تکنولوژی هوش مصنوعی برای مصارف نظامی فکر می‌کردند.

در بین انبوه اخبار مربوط به استفاده‌ی نظامی از هوش مصنوعی، دو مورد بیشتر از همه نظر مرا به‌ خود جلب کرد؛ اولی، گفت‌وگوی وایرد با اریک اشمیت، مدیرعامل سابق گوگل و دومی، کنفرانسی در لاهه با حضور نمایندگان بیش از ۶۰ کشور پیرامون استفاده‌ی مسئولانه از هوش مصنوعی در تجهیزات نظامی بود که چند روز پیش، همزمان با انتشار رهنمود جدیدی برای «استفاده‌ی نظامی مسئولانه» از هوش مصنوعی و فناوری‌های خودمختار توسط آمریکا برگزار شد.

گفت‌وگوی وایرد با اشمیت با این تیتر و لید ترسناک شروع می‌شود:

اریک اشمیت دارد ماشین جنگی هوش مصنوعی تمام‌عیاری می‌سازد

مدیرعامل سابق گوگل در تلاش است ارتش آمریکا را به هوش مصنوعی پیشرفته، مجهز کند تا به مقابله با چین برود. آیا این جهان را امن‌تر می‌کند؟

و بعد،‌ درباره‌ی نیاز به مجهز کردن هرچه‌زودتر بخش نظامی آمریکا به سیستم‌های خودمختار و تأثیر هوش مصنوعی بر جنگ مشابه دورانی که سلاح هسته‌ای معرفی شد، صحبت شد.

حسی به من می‌گوید در چند ماه آینده، نام اریک اشمیت را زیاد خواهیم شنید. اشمیت در سال ۲۰۰۱ مدیرعامل گوگل شد؛ یعنی درست زمانی که موتور جستجوی گوگل تنها چندصد کارمند داشت و به‌زحمت پول درمی‌آورد. زمانی که اشمیت در سال ۲۰۱۷ از سمت خود کناره‌گیری کرد، آلفابت (شرکت مادر گوگل) به شرکت به‌شدت پولسازی با چندین پروژه‌ی مهم ازجمله هوش مصنوعی پیشرفته، خودروهای خودران و کامپیوترهای کوانتومی تبدیل شده بود.

مبین احمدی

هوش مصنوعی در حد‌و‌اندازه سلاح هسته‌ای جنگ‌ها را متحول می‌کند

مطالعه '2

اما یک سال پیش از آنکه اشمیت، آلفابت را ترک کند، از پنتاگون بازدید کرد تا از نزدیک در جریان وضعیت تکنولوژی بخش نظامی آمریکا قرار بگیرد. او درحالی‌که هنوز مدیر اجرایی آلفابت بود، دعوت اشتون کارتر، وزیر دفاع دولت اوباما را برای ریاست هیئت نوآوری دفاعی جدیدی که در تلاش برای مدرن‌سازی وزارت دفاع آمریکا بود، پذیرفت.

اشمیت در سال ۲۰۱۹ رئیس کمیسیون امنیت ملی ایالات متحده در زمینه هوش مصنوعی (NSCAI) شد که مسئولیتش بررسی تأثیر هوش مصنوعی بر امنیت و توان رقابتی آمریکا بود. گزارش نهایی این کمیسیون که در سال ۲۰۲۱ منتشر شد، بر رقابت هوش مصنوعی بین آمریکا و چین تمرکز داشت و هشدار داد که اگر آمریکا و جامعه‌ی جهانی به خودش نیاید، برخی از کشورها ممکن است از این تکنولوژی برای گسترش ارزش‌های استبدادی استفاده کنند. این گزارش همچنین از دولت آمریکا خواست که بیشتر با بخش خصوصی همکاری کند و برای پروژه‌های هوش مصنوعی بخش دولتی و خصوصی، بودجه، داده و توان رایانشی فراهم کند.

در رویدادی در پاییز ۲۰۲۲، اشمیت اعتراف کرد که کمیسیون NSCAI با آگاه کردن او از تهدیدات چین علیه آمریکا، مسیر زندگی‌اش را عوض کرده است. او گفت:

ما با چالشی بسیار مهم از سوی رقیبی به‌شدت متمرکز روبرو هستیم که خوب می‌داند دارد چه می‌کند.

اشمیت در این مصاحبه‌ی تامل‌برانگیز گفت ایالات متحده به کمک هوش مصنوعی، می‌تواند فاصله‌ی نظامی خود را با چین افزایش دهد و اینکه باید از جنگ بین روسیه و اوکراین درس بگیرد. اشمیت به این اشاره کرد که ارتش اوکراین از‌طریق بهره‌گیری از فناوری‌های توسعه‌داده‌شده‌ی بخش خصوصی توانسته درمقابل حمله‌ی روسیه مقاومت کند: ازجمله تبدیل پهپادهای تجاری به سلاح نظامی، تغییر کاربری سیستم‌های ارتباطی منسوخ شده‌، چاپ سه‌بعدی قطعات کم‌یاب و توسعه‌ی نرم‌افزار جدیدی برای مدیریت دستمزدهای نظامی که کار چند سال را به چند ماه تبدیل کرده است.

اشمیت از این شاکی بود که پنتاگون قوانین سخت‌گیرانه‌ای برای استفاده از تکنولوژی روز دارد و انتخاب و خرید نرم‌افزار توسط وزارت دفاع آمریکا ممکن است سال‌ها طول بکشد. او گفت چالش اصلی آمریکا این است که چقدر سریع‌تر از رقبا می‌تواند از تکنولوژی‌های تجاری برای مصارف نظامی استفاده کند.

فرض کنید می‌خواهیم سیستم جنگ‌افزاری بهتری بسازیم. برای این کار فقط کافی است شرکت تکنولوژی جدیدی راه‌اندازی کنیم.

اشمیت پس از ربط دادن توسعه سیستم جنگ‌افزاری بهتر به حوزه تکنولوژی، تصویر هولناکی از اینترنت اشیا ترسیم کرد که البته از نظر او، اتفاق بسیار هیجان‌انگیزی است.

در این شرکت تکنولوژی، تعداد زیادی دستگاه ارزان‌قیمت ساخته می‌شود که حمل‌پذیری به‌شدت بالا و استحکام پایینی دارند و این دستگاه‌ها یا پهپادها، به حسگرها یا سلاح‌هایی مجهز خواهند بود و با هم در یک شبکه‌ی منسجم عملیات انجام می‌دهند.

اشمیت هنوز حدود ۵ میلیارد دلار در آلفابت سهام دارد، سرمایه‌گذار استارتاپ پیمانکار نظامی Rebellion Defense است و از طریق شرکت‌های سرمایه‌گذاری مختلف با سایر شرکت‌هایی که با دولت کار می‌کنند، ارتباط دارد.

با این اوصاف، به سختی می‌توانید فرد دیگری را با همین سطح نفوذ در بخش تکنولوژی امنیت ملی پیدا کنید. به‌گفته‌ی وایرد، هر پیشرفتی که پنتاگون در زمینه تحقق رویاهای هوش مصنوعی‌اش به دست آورد و تاثیر این رویاها بر دنیا هرچه باشد، می‌توان پیش‌بینی کرد که اشمیت به احتمال زیاد در مرکز تمام این اتفاق‌ها خواهد بود.

اشمیت در این گفت‌وگو، همچنین به استارتاپی به نام Istari اشاره کرد که از فناوری یادگیری ماشین و متاورس برای مونتاژ و آزمایش مجازی وسایل نقلیه‌ی نظامی مثل تانک استفاده می‌کند. شاید فعالیت این استارتاپ که از سرمایه‌گذاری اشمیت برخوردار است، به نظر کسل‌کننده برسد، اما او می‌گوید همین‌ فعالیت‌ها می‌تواند نوآوری‌های صنعت تکنولوژی را به بخش نظامی آمریکا بیاورد.

تیم Istari قابلیت‌های اینترنت‌محور را به‌ مدل‌ها و شبیه‌سازی‌ها می‌آورد. این‌طوری، می‌توان سیستم‌های فیزیکی آینده را به‌سرعت با به‌روزرسانی‌های نرم‌افزاری، پیشرفته‌تر کرد. این موضوع بسیار هیجان‌انگیز است!

اما Istari تنها یک قطعه‌ی کوچک از پروژه‌ی بسیار بزرگی است که در آن اشمیت سعی دارد ارتش آمریکا را با تکنولوژی و طرز فکر سیلکون‌ولی همراه کند.

سال گذشته، پنتاگون کریگ مارتل، پژوهشگر ارشد هوش مصنوعی و یادگیری ماشین دراپ‌باکس، لیفت و لینکدین را به‌عنوان رییس هوش مصنوعی این وزارتخانه منصوب کرد. مارتل هم دقیقا طرز تفکر اشمیت را داشت. او پس از تصدی پست جدید به بلومبرگ گفت که می‌خواهد پنتاگون را از «بی‌تحرکی بوروکراتیک» خود خارج کند و معتقد بود بخش نظامی آمریکا با سرعت به‌شدت آهسته‌ای به سمت هوش مصنوعی در حرکت است و این موضوع باید تغییر کند.

کمیسیون NSCAI هم اگرچه منحل شده، اشمیت اکنون در نهادی مشابه که پیامدهای پیشرفت در حوزه‌ی بیوتکنولوژی را بررسی می‌کند، مشغول به کار است. اشمیت همچنین اندیشکده‌ی جدید و مستقلی به نام «پروژه مطالعات رقابتی ویژه» (SCSP) را تأمین مالی کرده که به فناوری‌هایی فراتر از هوش مصنوعی از جمله همجوشی هسته‌ای، رایانش کوانتومی و ارتباطات و ویرایش ژن نگاه می‌کند و حوزه‌ی فعالیت‌هایش چیزی شبیه پروژه‌های ضد شوروی آمریکا در دوران جنگ سرد است.

مبین احمدی

پیروزی بزرگ برای صنعت تراشه آمریکا؛ جو بایدن لایحه CHIPS را امضا کرد

مطالعه '4

قانون CHIPS نیز که تابستان امسال با حمایت دو حزبی و با انگیزه‌ی نگرانی‌ از پیشروی چین در صنعت تراشه تصویب شد، دولت آمریکا را متعهد می‌کند که در ۱۰ سال آینده، ۲۰۰ میلیارد دلار برای تحقیق و ساخت قطعات نیمه‌هادی در اختیار شرکت‌های آمریکایی از جمله اینتل و AMD قرار دهد.

اما از همه‌ی این حرف‌ها گذشته، چیزی که مرا بیش از هرچیز نگران می‌کند، رویکرد بی‌دغدغه‌ و بی‌خیال اشمیت به مقوله‌ای است که چند سال پیش گروه بزرگی از دانشمندان و افراد سرشناس حوزه‌ی هوش مصنوعی، درباره‌ی آن هشدار جدی داده بودند: سلاح‌های خودمختار جنگی.

اشمیت در مصاحبه با وایرد گفت:

هر چند وقت یک‌بار، یک سلاح جدید، یک فناوری جدید از راه می‌رسد که همه چیز را تغییر می‌دهد. اینشتین در دهه‌ی ۱۹۳۰ نامه‌ای به روزولت نوشت و گفت فناوری جدیدی با عنوان سلاح هسته‌ای وجود دارد که می‌تواند قواعد جنگ را تغییر دهد و چنین اتفاقی هم افتاد. به‌نظر من، سیستم‌های خودکار و غیرمتمرکز و توزیع‌شده‌ی مبتنی‌بر هوش مصنوعی به همان اندازه قدرتمند هستند.

سال ۲۰۱۵، گروه بزرگی از دانشمندان و افراد سرشناس از جمله استیون هاوکینگ، استیو وازنیک، ایلان ماسک و جمعی از پژوهشگران حوزه‌ی هوش مصنوعی در نامه‌ای سرگشاده از دولت‌ها خواستند توسعه‌ی «سلاح‌های خودمختار جنگی» را ممنوع کنند تا از «مسابقه‌ی تسلیحاتی هوش‌ مصنوعی با کاربرد نظامی» جلوگیری شود.

سارا ارجمند

هوش مصنوعی فوق‌پیشرفته؛ تهدیدی بزرگ برای آینده‌ بشر

مطالعه '14

در این نامه که به امضای بیش از ۳۴ هزار نفر رسیده بود، تمرکز بیشتر روی ربات‌ها و تجهیزاتی بود که ممکن بود در آینده به چنان سطح از هوشمندی برسند که بخواهند خودمختار شوند و با تصمیم خود و بدون دخالت انسانی، به اهداف شلیک کنند؛ چیزی شبیه همان ربات چهارپایی که با اسلحه گرم، به سیبل تیراندازی، شلیک می‌کرد و حتی شاید همان «سیستم خودکاری» که اشمیت در مصاحبه‌ی اخیرش با وایرد از آن حرف می‌زد.

نویسندگان این نامه با موشک‌های کروز و پهپادهای هدایت‌شونده از راه دور مشکلی نداشتند، چون می‌گفتند «انسان‌ها تمام تصمیم‌های مربوط به هدف‌گیری را می‌گیرند.» اما توسعه‌ی سلاح‌های کاملا خودمختاری که بتوانند بدون دخالت انسان بجنگند و بکشند، باید در همان مراحل اولیه متوقف شود.

در بخشی از این نامه آمده بود:

سوال کلیدی بشر درحال‌حاضر این است که آیا باید مسابقه‌ی تسلیحاتی مبتنی‌بر هوش مصنوعی را آغاز کرد یا از شروع آن جلوگیری کرد؟ اگر هر قدرت نظامی بزرگی شروع به توسعه‌ی تسلیحات هوش مصنوعی کند، مسابقه‌ی تسلیحاتی جهانی عملاً اجتناب‌ناپذیر خواهد بود و نقطه‌ی پایانی این مسیر کاملا واضح است: سلاح‌های خودمختار به کلاشینکف‌های فردا تبدیل خواهند شد.

امضاکنندگان نامه آن زمان معتقد بودند که تکنولوژی هوش مصنوعی به نقطه‌ای رسیده که توسعه‌ی سلاح‌های خودمختار که توانایی انتخاب و شلیک به هدف بدون دخالت انسانی را داشته باشند، تا چند سال آینده که حتی به دهه نخواهد کشید، ممکن خواهد بود. آیا روزی که آن‌ها نگران فرارسیدنش بودند، حالا است؟

در جای دیگر این نامه، سلاح‌های خودمختار به سلاح‌های شیمیایی و بیولوژیکی تشبیه شده‌اند:

همانطور که اکثر شیمی‌دانان و زیست‌شناسان علاقه‌ای به ساخت سلاح‌های شیمیایی یا بیولوژیکی ندارند، بیشتر پژوهشگران هوش مصنوعی نیز علاقه‌ای به ساخت سلاح‌های هوش مصنوعی ندارند و نمی‌خواهند دیگران با انجام این کار، حوزه‌ی کاری آن‌ها را خدشه‌دار کنند و بدین‌ترتیب، باعث ایجاد واکنش شدید عمومی علیه هوش مصنوعی شوند؛ اتفاقی که مزایای اجتماعی آینده‌ی آن را محدود خواهد کرد.

این افراد معتقد بودند که مسابقه‌ی تسلیحات نظامی مبتنی‌بر هوش مصنوعی به‌هیچ عنوان برای بشریت مفید نخواهد بود و تاکید کردند که راه‌های زیادی وجود دارد که هوش مصنوعی می‌تواند بدون ایجاد ابزارهای جدیدی برای کشتن مردم، میدان‌های جنگ را برای انسان‌ها، به‌ویژه غیرنظامیان ایمن‌تر کند. اما این راه‌ها دقیقا کدام است و آیا ما داریم این روزها درباره‌ی این راه‌ها صحبت می‌کنیم یا درباره‌ی توسعه‌ی سلاح‌های خودمختاری که امضاکنندگان نامه درباره‌ی آن هشدار داده بودند؟

و اما کنفرانس «استفاده‌ی مسئولانه از هوش مصنوعی در تجهیزات نظامی» (REAIM) که ۱۵ و ۱۶ فوریه (۲۶ و ۲۷ بهمن) برای نخستین بار در تاریخ، به میزبانی کره‌ی جنوبی و هلند برگزار شد؛ اجلاس بزرگی که که روسیه به آن دعوت نشد، اوکراین با وجود دعوت شدن در آن حضور پیدا نکرد و تمامی شرکت‌کنندگان به‌جز اسرائیل پذیرفتند که با رعایت یک‌سری قوانین، «به‌صورت مسئولانه» از تجهیزات نظامی هوش مصنوعی استفاده کنند.

اکثر شرکت‌کنندگان این کنفرانس از نقش تکنولوژی در بهبود سیستم دفاعی اوکراین استقبال کردند، اما در عین حال، ترس استفاده‌‌ی گسترده از سیستم‌های هوش مصنوعی خطرناک هم کاملا مشهود بود. از صحبت‌هایی که در این کنفرانس ردوبدل شد، این حس دریافت می‌شد که جنگ به‌سرعت وارد حوزه‌ی فوق‌العاده جدیدی می‌شود و هیچ نقشه‌ی راهی برای این آینده‌ی پیش‌بینی‌نشده وجود ندارد.

شاید بتوان کل حس‌وحال کنفرانس را در این بخش از سخنرانی ووپکه هوکسترا، وزیر امور خارجه‌ی هلند خلاصه کرد:

تصور کنید که یک موشک در حال برخورد به ساختمان است. هوش مصنوعی می‌تواند در کسری از ثانیه آثار برخورد موشک را تشخیص و نشان دهد که بازماندگان در کجا پناه گرفته‌اند. حتی جالب‌تر این‌که هوش مصنوعی توانایی رهگیری موشک را هم دارد. با این وجود، هوش مصنوعی این پتانسیل را دارد که در عرض چند ثانیه، نابودی به بار بیاورد.

در بیانیه‌ای که آمریکا همزمان با برگزاری اجلاس منتشر کرد و در آن به ۱۲ شیوه برای استفاده‌ی مناسب از هوش مصنوعی اشاره کرده است، تاکید شده که تعداد کشورهایی که مشغول توسعه‌ی هوش مصنوعی نظامی هستند همواره در حال افزایش است و احتمالا این کشورها سراغ استفاده از سیستم‌های خودمختار خواهند رفت.

این همان نگرانی‌ای است که ۸ سال پیش در نامه‌‌ی سرگشاده پژوهشگران هوش مصنوعی مطرح شد. یکی از اصولی که در مورد هوش مصنوعی به بیان، ساده اما در عمل تقریبا غیرممکن است، این است که انسان‌ها باید همیشه کنترل ربات‌ها و سیستم‌های هوشمند را دست داشته باشند و به الگوریتم‌ها هرگز نباید اجازه داده شود خودشان تصمیمات مرگ و زندگی بگیرند.

آمریکا تأکید می‌کند که انسان‌ها در صورت استفاده از هوش مصنوعی در نهادهای نظامی باید مسئولیت کامل را برعهده بگیرند؛ اما مشخص نیست چطور انسان‌ها قرار است در زمانی‌که سیستم‌های هوش مصنوعی به‌طور گسترده و با سرعت برق‌ و باد در زمان جنگ استفاده می‌شوند، همواره در جریان کار آن‌ها قرار بگیرند.

مشکل دیگر این است که بیانیه‌ی آمریکا از لحاظ قانونی هیچ الزاماتی تعیین نمی‌کند و اصلا معلوم نیست حتی همین کشورهایی که بیانیه را امضا کرده‌اند، به آن متعهد باشند؛ چه برسد به آن‌هایی که از امضا کردن بیانیه خودداری کردند. از سوی دیگر، این بیانیه در برطرف کردن نگرانی‌های مرتبط با پهپادهای خودمختار، ربات‌های قاتل و احتمال تشدید درگیری نظامی توسط هوش مصنوعی، کاملا ناتوان است.

نکته‌‌ی دیگری که در صحبت‌های اشمیت و شرکت‌کنندگان کنفرانس REAIM به چشم می‌آید، نقش بی‌سابقه‌ای است که شرکت‌های بخش خصوصی، یا بهتر بگویم، غول‌های دنیای فناوری، در بخش نظامی ایفا می‌کنند؛ نقشی که اتفاقا یکی از فاکتورهای چالش‌برانگیز بحث استفاده از هوش مصنوعی در تجهیزات نظامی است.

تکنولوژی هوش مصنوعی و بهترین ابزارهایی که می‌توانند برای مصارف نظامی به کار روند، مثل الگوریتم‌هایی که قادر به شناسایی سخت‌افزار دشمن یا افراد خاص در ویدئو هستند یا می‌توانند استراتژی‌هایی یاد بگیرند که از پس انسان برنمی‌آید، همگی در شرکت‌هایی مانند گوگل، آمازون، اپل و یا استارتاپ‌ها ساخته می‌شوند.

الکس کارپ، مدیر ارشد شرکت داده Palantir که «زنجیره انهدام» دیجیتالی اوکراین را با ارائه اطلاعات به‌دست آمده از تصاویر ماهواره‌ای و حسگرهای میدانی بهینه کرده بود، در کنفرانس REAIM گفت: «کشوری که در جنگ‌های هوش مصنوعی آینده پیروز شود، نظم بین‌المللی را تعیین خواهد کرد.»‌

مطمئننا ماسک تنها کسی نیست که در قبال تکنولوژی، سیاست دفاعی خودش را دارد و این چندصدایی در حوزه‌ای که هنوز چارچوب مشخصی ندارد، می‌تواند پیش از آنکه قانون‌گذاران به خودشان بیایند، فاجعه‌آفرین شود.

پیرامون استفاده از سلاح‌های هوشمند، بحث‌های موافق و مخالف زیادی شکل گرفته‌ است. عده‌ای می‌گویند با جایگزین کردن سربازهای انسان با ربات‌ها، آمار تلفات کشور دارنده‌ی این سلاح‌ها کم می‌شود؛ اما خب از طرف دیگر، در اختیار داشتن ارتشی که تلفات جانی روی دست کشور پیشرفته‌تر نمی‌گذارد، انگیزه‌ی بیشتری به آن کشور برای آغاز جنگ می‌دهد.

سم آلتمن، مدیرعامل شرکت OpenAI که با عرضه‌ی چت‌بات ChatGPT، بحث هوش مصنوعی را سر زبان‌ها انداخت، می‌گوید فاصله‌ی زیادی تا فرارسیدن دوران ابزارهای هوش مصنوعی‌ای نداریم که به‌طور بالقوه ترسناک باشند. با‌این‌حال، او اعتقاد دارد که «جامعه برای سازگاری با چیزی بزرگ به زمان نیاز دارد.» و اگر سرعت سازگاری بیش‌از‌حد زیاد باشد، به‌طوری که افراد پیش از آنکه بدانند چطور باید از ابزارهای جدید استفاده کنند، آن‌ها را در سطح گسترده به کار بیگرند، تجربه‌ی ارائه‌شده‌ی این ابزارها ترسناک خواهد بود.

مهم‌ترین مشکل هوش مصنوعی به‌طور کلی و سلاح‌های خودمختار به‌طور خاص، این است که تکنولوژی‌های تحول‌آفرینی هستند. همین که هوش مصنوعی پیشرفته یا سلاح خودمختاری که خودش تصمیم بگیرد به چه کسی حمله کند، توسعه داده شود، دیگر نمی‌توان به نقطه‌ی قبل برگشت. همان‌طور که نمی‌توانیم باروت یا سلاح‌های هسته‌ای را به جعبه برگردانیم و درش را قفل کنیم، سلاح‌های خودمختار هم همین وضعیت را خواهند داشت.

به‌قول اریک برینجولفسن، مدیر آزمایشگاه اقتصاد دیجیتال استنفورد، «۱۰ سال آینده ممکن است جزو بهترین دهه‌های تاریخ بشر یا جزو بدترین آن‌ها باشد.»