هدست واقعیت ترکیبی اپل احتمالا شامل رابط کاربری انقلابی برای تشخیص فرامین کاربر خواهد بود

در توسعه و ارائه‌ی دستگاه‌های مبتنی‌بر واقعیت افزوده یا واقعیت مجازی نکته‌ی حائز اهمیت چگونگی غوطه‌ور‌ کردن کاربر در دنیای خیالی این محصولات و در عین حال تعامل با دنیای حقیقی است؛ بنابراین، HMD (دستگاه نصب‌شده-روی-سر) باید به‌خوبی فرامین کاربر را شناسایی و آن‌ها را در محیط پر جزئیات خود اعمال کند؛ ازاین‌رو، گفته می‌شود اپل در حال توسعه‌ی مکانیزم‌های کنترل برای دریافت فرامین کاربران است.

مینگ‌چی کو، تحلیلگر نام‌آشنای محصلات اپل در جدیدترین اظهاراتش اعلام کرده است که هدست واقعیت ترکیبی کوپرتینویی‌ها از حسگرهای بسیار پیشرفته‌ای برای شناسایی محیط و فرامین کاربران مجهز خواهد شد که درواقع، از آن می‌توان به‌عنوان نقطه‌ی عطفی در ارتباط کاربر با هدست‌های واقعیت مجازی یا افزوده عنوان کرد. کو دراین‌باره می‌گوید:

ما پیش‌بینی می‌کنیم که نورِ ساختاریافته هدست واقعیت ترکیبی نه‌تنها می‌تواند تغییر موقعیت کاربر، دست و اشیاء دیگر را در مقابل چشمان کاربر، بلکه درست مانند فیس آی‌دی تغییر جزئیات پویا دست را نیز تشخیص دهد. ثبت جزئیات حرکت دست می‌تواند رابط کاربری انسان و ماشین را به سطح دیگری برساند.

کو معتقد است که توانایی هدست برای شناسایی پیشرفته حرکات دست به تجربه‌ای تمام‌عیار برای کاربران منجر می‌شود که در آن کاربر می‌تواند برای مثال، دست خود را برای رها کردن مجازی بالون باز کند. به‌منظور دستیابی به این مهم، انتظار می‌رود اپل چهار مجموعه از حسگرهای سه‌بعدی را با کیفیت و مشخصات بالاتری نسبت به نمونه‌های به‌کاررفته در گوشی‌های آیفون پیکربندی کند. تحلیلگر یادشده کیفیت رابط کاربری انسان و ماشین را کلید موفقیت هدست AR آینده اپل می‌داند و خاطرنشان می‌کند که توانایی‌های رابط شامل کنترل ژست، تشخیص اشیا، و همچنین ردیابی چشم، تشخیص عنبیه، کنترل صدا، تشخیص پوست، تشخیص بیان و تشخیص فراگیر خواهد بود.

افرون‌براین، اختراعات اخیر اپل نشان می‌دهد که این شرکت به ‌دنبال دستیابی به محصولی است که تشخیص بدهد فرامین از کجا صادر می‌شود و به‌صورت دقیقی آن‌ها را در دستگاه اصلی (هدست) اعمال کند. این شرکت به‌طور فزاینده‌ای از فناوری باندهای فوق وسیع (UWB) برای کمک به آیفون‌ها در مکان‌یابی یکدیگر استفاده می‌کند. اپل بارها سیستم‌های مجهز به حسگر تداخل‌سنج خودترکیب (SMI) را برای استفاده‌های مشابه مورد بررسی قرار داده است و گمان می‌رود که کنترل‌کننده‌ هدست نیز از این تکنولوژی بهره خواهد گرفت. هنوز مشخص نیست که لوازم جانبی همراه دستگاه عرضه خواهد شد یا جداگانه فروخته می‌شود؛ اما به نظر می‌رسد برخی از نمونه‌های اولیه دارای صفحه حساس به لمس برای تشخیص ژست‌های حرکتی یا دکمه‌ی موسوم به Digital Crown برای ثبت فرامین هستند.