سیری در آزمایشی جدید، ۷۸.۵ درصد از پرسش‌ها را به‌درستی پاسخ داد
چند ماه پیش، گروهی با نام Loup Ventures آزمایشی را روی بلندگوهای هوشمند اجرا کردند که عملکرد آن‌ها در پاسخگویی به سؤالات کاربران را محک می‌زد. حال این گروه دوباره به صحنه برگشته و به‌تازگی آزمون جدیدی را روی دستیارهای صوتی موبایلی اجرا کرده که توان پاسخگویی آن‌ها را ارزیابی کند.
برای رسیدن به نتایج، این گروه ۸۰۰ سؤال را در دسته‌بندی‌های گوناگون از سیری، گوگل اسیستنت، الکسا و کورتانا پرسیدند و آمار به‌دست آمده را با نتایج سال قبل مقایسه کردند.
حال نتایج به‌دست آمده از این آزمایش مشخص کرده است که سیری، دستیار صوتی گوشی‌های آیفون، توانسته به ۷۸.۵ درصد از پرسش‌ها پاسخ صحیح ارائه کند. آمار فوق در مقایسه با نتایج آزمایش سالِ قبل که رقم ۶۶.۱ درصد برای این دستیار حاصل شده بود، نشان از بهبودهای فراوانی دارد که تیم توسعه‌ی سیری روی این دستیار اعمال کرده است. با این حال و در حالی که Loup Ventures از همان متد پیشین برای این تست استفاده کرده است؛ اما این تیم اعلام کرده که به‌سبب تفاوت‌های بسیار میان دستیارهای موبایلی و بلندگوهای هوشمند، مقایسه‌ی آزمونِ فعلی و آزمون سالِ گذشته چندان قابل‌توجیه نیست.
این موضوع به‌خصوص برای دستورات سیری روی بلندگوی هوم‌پاد بیش‌از دیگر رقبا صدق می‌کند. اگر از بلندگوی هوشمند Apple استفاده کرده باشید، بی‌شک مطلع هستید که سیری روی این دستگاه در برخی از حوزه‌های خاص، عملکرد بهتری نسبت به نسخه‌ی موجود روی آیفون دارد. با این وجود به‌دلیل محدودیت فراوان در حجم دستورات، هوم‌پاد تنها با ثبت رقم ۵۲.۳ درصدی از مجموع ۷۸۲ سؤال، به پایین‌ترین جایگاه در بین دیگر بلندگوها نزول کرد.
در آزمون جدید، Loup Ventures دو معیار را برای درجه‌‌بندی دستیارهای دیجیتالی در توجه قرار داده است:
- آیا دستیار متوجه می‌شود که چه سؤالی از آن پرسیده شده است؟
- آیا پاسخ صحیحی به پرسش ما می‌دهد؟
علاوه‌بر این، پرسش‌ها در پنج دسته طبقه‌بندی شده‌اند که به‌عنوان نمونه می‌توان به پرسش‌های زیر اشاره کرد:
- (پرسش‌های محلی) نزدیک‌ترین کافی‌شاپ به من کجاست؟
- (پرسش‌های تجاری) آیا می‌توانی دستمال توالت بیشتری برای من ثبت سفارش کنی؟
- (پرسش‌های مسیریابی) چگونه می‌توانم به اتوبوس در بالای شهر برسم؟
- (پرسش‌های اطلاعاتی) چه‌کسی امشب بازی Twins را انجام می‌دهد؟
- (فرامین صوتی) به من یادآوری کن که ساعت ۱۴ به استیو زنگ بزنم؟
میزانِ پاسخِ صحیح به پرسش‌ها در ۵ دسته‌بندی
برای انجامِ این آزمایش از دستیارصوتی سیری روی نسخه‌ی ۱۱.۴ سیستم‌عامل iOS استفاده شده است؛ همچنین این تیم برای بررسی عملکرد دیگر دستیارها از گوشی پیکسل ایکس ال برای Google Assistant و نسخه‌ی iOS برای Alexa و Cortana بهره برده‌اند. بهترین عملکرد Siri در دسته‌بندی‌ها فوق به بخش فرامین صوتی مربوط می‌شود که با پشت‌ِ سر گذاشتنِ رقبا در قسمت‌هایی مانند کنترل گوشی، مدیریت دستگاه‌های هوشمند و استفاده از اپل موزیک، آماری ۹۰ درصدی را به ثبت رساند. پس از آن به‌ترتیب دسته‌بندی‌های محلی با ۸۷ درصد، مسیریابی با ۸۳ درصد، اطلاعاتی با ۷۰ درصد و تجاری با ۶۰ درصد در رتبه‌های بعدی قرار گرفتند.
تیم Loup Ventures درباره‌ی نتیجه‌ی نهایی این آزمایش می‌گوید:
گوگل اسیستنت به‌جز در دسته‌بندی دستوری، در تمامی دسته‌بندی‌ها همواره در جایگاه بالا قرار داشت. از آن جهت که هر دو دستیار سیری و گوگل اسیستنت بر خلاف اپلیکیشن‌های شخص‌ثالثی چون کورتانا و الکسا، در داخلِ سیستم‌عامل نهادینه شده‌اند، پیشتازی سیری نسبت به دستیار گوگل در بخش فرامین صوتی اندکی عجیب جلوه می‌کند. ما به این نتیجه رسیدیم که در بخش‌هایی که مربوط به کنترل گوشی، خانه‌ی هوشمند و موسیقی می‌شود، سیری با انعطاف‌پذیری بیشتر نسبت به گویش‌های مختلف، عملکرد بهتری را از خود نشان می‌دهد. سؤالات ما همچنین شامل مقداری اطلاعاتِ مربوط به موسیقی نیز می‌شد. اپل با حصول اطمینان از توانایی‌های سیری روی موبایل و بلندگوهای هوشمند، مسیر حقیقی خود را دنبال کرده است.
در این میان، ویژگی «Featured Snippets» با خواندنِ نتایج گوگل که به پرسش کاربر نزدیک هستند، توانسته توجه گروه را به خود جلب کند؛ آن‌ها معتقدند در اغلب اوقات، نتایجی که گوگل اسیستنت برای شما می‌خواند دقیقاً با پرسش شما مطابقت دارد. الکسا و کورتانا نیز از آن جهت که به‌عنوان اپلیکیشن شخص‌ثالث روی سیستم‌عامل iOS فعالیت می‌کنند، دسترسی کمتری به ویژگی‌های سیستم دارند؛ از این رو، نتایجِ حاصل از آن‌ها چندان قوی و قابل‌اطمینان جلوه نمی‌کند.
حال براساس رتبه‌بندی‌ای که انجام شده، گوگل اسیستنت با ۸۵.۵ درصد در رتبه‌ی اول قرار گرفته و سیری با ۷۸.۵، الکسا با ۶۱.۴ و کورتانا با ۵۲.۴ درصد به‌ترتیب در رتبه‌های بعدی قرار گرفته‌اند.
در ۱۵ ماه گذشته، سیری توانسته ۱۳ درصد رشد داشته باشد که رقم قابل‌توجهی شمرده می‌شود؛ همین موضوع در مورد دیگر دستیارها نیز صدق می‌کند و بهبودهای آن‌ها اعضای تیم Loup Ventures را از پیشرفت تکنولوژی در این حوزه تحت‌تأثیر قرار داده است.
حال تنها دو ماه با انتشار نسخه‌ی آتی iOS فاصله داریم و با توجه به آمارِ به‌دست آمده، کاربران دستگاه‌های آیفون و آیپد می‌توانند انتظار بهبودهای بیشتری را برای دستیار صوتی داشته باشند.
نظرات