نتایج بنچمارک‌ها تحت تاثیر تقلب گسترده در میان شرکت‌های اندرویدی، نوت ۳ هنوز اول است ( قسمت اول)
در قسمت دوم این مقاله به بررسی نتایج بنچمارک‌های نوت ۳ می‌پردازیم و در نهایت با بررسی میزان تأثیرگذاری بهینه سازی سامسونگ در نتایج بنچمارک به این نتیجه می‌رسیم که نوت ۳ همچنان در صدر اندرویدی‌ها قرار می‌گیرد.
هر زمان بازار نسبت به پارامتری در محصولات الکترونیکی بیش از اندازه درست آن حساس شد، می‌توان منتظر انواع و اقسام تقلب و فریب‌کاری در میان سازندگان محصول بود. بنچمارک قدرت پردازشی در میان محصولات هوشمند امروزی دقیقا به نقطه حساسی تبدیل شده است که سازندگان را به سمت و سوی فریب و دغل هل داده است. در این میان شرکت‌هایی که فروش بیشتری نسبت به بقیه داشته و بیشتر از دیگران زیر ذره‌بین سخت‌گیرانه کارشناسان قرار می‌گیرند، باید از فریب و دغل دوری کنند. اما سامسونگ اولین شرکتی بود که طی بررسی‌های کارشناسان وب‌سایت Anandtech، متهم به دستکاری در نتایج بنچمارک‌ها شد و مورد تهاجم انواع و اقسام تهمت‌های طرفداران دیگر برند‌ها قرار گرفت. با اینکه با یک حساب منطقی و قدری منطق مطمئن بودیم که این مدل تقلب (هنوز در نوع تقلب بودن آن جای بحث وجود دارد) دامن بسیاری از شرکت‌های اندرویدی را لکه دار کرده است، اما ابزار کافی برای اثبات آن در دسترس ما نبود. خوشبختانه این‌دفعه وب‌سایت AnandTech به سراغ دیگر محصولات اندرویدی بازار رفت و پرده از یک تقلب آشکار( درست از جنس تقلب سامسونگ) در میان اکثر این شرکت‌ها برداشت.
تقلبی که علاوه بر سامسونگ، به‌طور گسترده در محصولات اندرویدی اسوس، الجی و اچ‌تی‌سی دیده می‌شود. البته چون اناند معمولا محصولات سونی را مورد بررسی قرار نمی‌دهد درباره این شرکت نظری نداده است، اما احتمالا سونی نیز از این حربه برای نمایش بهتر محصولاتش در بنچمارک‌ها بهره می‌برد. تنها گوگل و موتورولا از این اتهام فراگیر مبرا شدند که آن‌هم بیشتر به‌دلیل توجه کمتر گوگل به مقوله بهینه‌سازی سیستم‌عامل با توجه به سخت‌افزار مورد استفاده است. چراکه سخت‌افزار محصولات گوگل توسط دیگر شرکت‌ها ساخته می‌شود و آن‌ها تمایلی برای بالابردن نتایج بنچمارک‌ها در ابزارآلات تولیدی گوگل با برند نکسوس را ندارند. خوشبختانه موتورولا لااقل در محصول پرچمداری مثل Moto X دچار این خطای غیرحرفه‌ای نشده است که جای شکرش باقی است.
با این مقدمه بهتر است نیم نگاهی تخصصی‌تر به نوع تقلب صورت‌گرفته داشته باشیم. از منظر تعدادی از کارشناسان تقلب صورت گرفته در ابزارآلات اندرویدی به معنای عام آن تقلب به‌شمار نمی‌رود، بلکه هدف پوشاندن بعضی از کاستی‌های بنچمارک‌ها است.اما چرا؟
واقعیت به نوع نگاه ما به بنچمارک‌های یک محصول باز می‌گردد. البته در این میان تقسیم‌بندی خاصی نیز میان بنچمارک‌ها وجود دارد. به‌طور مثال تعدادی از بنچمارک‌ها که غالبا در دسته بنچمارک‌های حالت واقعی قرار می‌گیرند به‌منظور نشان دادن حداکثر کارایی سخت‌افزار در حالت طبیعی به‌کار گرفته می‌شوند. این بنچمارک‌ها بدون آنکه به محدودیت‌های در نظر گرفته توسط سازنده صدمه‌ای بزنند قادرند یک بازخورد واقعی از رفتار پردازنده را در مواجهه با وظایف سیستم‌عامل به ما نشان دهند. اما در نوع دوم از بنچمارک‌ها که غالبا در دسته بنچمارک‌های استرس قرار می‌گیرند، هدفی جز نشان دادن حداکثر توانایی سخت‌افزار ندارند. در این مدل بنچمارک‌ها به محدودیت‌های سازنده (مانند محدودیت ولتاژ و فرکانس که غالبا برای جلوگیری از گرمای بیش از اندازه یا مصرف زیاد باتری اعمال می‌شود) صدمه وارد شده و بنچمارک بدون در نظر گرفتن محدودیت‌‌ها، از قدرت واقعی پردازنده رونمایی می‌کند.
اغلب بنچمارک‌هایی که در دنیای گوشی‌ها و تبلت‌های هوشمند با آن سروکار داریم در دسته اول یعنی حالت واقعی قرار می‌گیرند چرا که تا کنون کمتر شاهد اعمال محدودیت‌های ولتاژ و فرکانس بر روی پردازنده‌ها از سوی سازندگان بودیم. حال آنکه در دنیای کامپیوتر شخصی، سال‌ها است که اینتل و AMD فرکانس و ولتاژ پردازنده‌های خود را در مرز مشخصی قفل می‌کنند.
بحث تقلب فراگیر در میان ابزارآلات اندرویدی بیش از آن‌چه که قبلا تصور می‌کردیم پیچیده شده است. در عمل ما با دو مدل تقلب در میان ابزارآلات اندرویدی مواجه شده‌ایم.
حالت اول تقلب:
در نوع اول که فقط برای یک دفعه توسط سامسونگ صورت گرفت بدین‌صورت عمل شد که:
واحد پردازش گرافیکی گوشی S4 نسخه بین‌الملل که از نوع PoweVR SGX 544MP3 است در حالت عادی روی فرکانس ۴۸۰ مگاهرتز کار می کند. اما زمانی‌که یک اپلیکیشن بنچمارک باز می‌شود٬ بلافاصله فرکانس هسته های گرافیکی به ۵۳۲ مگاهرتز افزایش می یابد و این فرکانس تا آخر روند بنچمارک ثابت می‌ماند. این مدل تقلب که توسط Anand فاش شد فقط در این SOC خاص انجام گرفت و حتی در نسخه کوالکام S4 نیز این مدل تقلب دیده نشد. به‌زبان ساده‌تر سامسونگ برای جلوگیری از تولید گرمای زیاد و مصرف شدید باتری، فرکانس کاری GPU را در مرز ۴۸۰ مگاهرتز در سرتاسر سیستم‌عامل قفل کرده بود، اما این فرکانس تحت بنچمارک‌های واقعی به‌شکل مصنوعی شکسته می‌شد و تا ۵۳۲ مگاهرتز بالا می‌رفت. همانطور که قبلا توضیح داده شد در بنچمارک‌های واقعی هدف نشان دادن توان واقعی پردازنده در حالت کاری واقعی است و مرزهای در نظر گرفته نباید توسط بنچمارک شکسته شود. حال آنکه در این تقلب آشکار از سامسونگ، در یک بنچمارک واقعی، عمل شکسته شدن محدوده فرکانس-ولتاژ به‌صورت مجازی و ناعادلانه انجام می‌گرفت. خوشبختانه سامسونگ این عمل نادرست را در هیچ یک از محصولات خود انجام نداده بود و بعدا نیز آن را تکرار نکرد.
حالت دوم تقلب:
اما در حالت دوم اتفاق دیگری صورت می‌پذیرد. از آنجا که کوالکام توانسته است در سری جدید SOC های خود از جمله اسنپ‌دراگون ۶۰۰ و ۸۰۰ به تعادل درستی در عملکرد پردازشی و مصرف انرژی برسد، نیازی به گذاشتن محدودیت نرم‌افزاری روی ولتاژ و فرکانس کاری پردازنده‌هایش ندیده است. طبق آزمایشات متفاوت صورت گرفته تمام SOCهای این شرکت در گوشی‌های هوشمند متفاوت قادرند در سرتاسر سیستم عامل و اپلیکیشن‌های متفاوت به ماکزیمم فرکانسی تعریف شده توسط کوالکام در کاتالوگ محصول برسند. بدین ترتیب نیازی به شکستن مصنوعی مرز و محدوده توسط کمپانی‌های سازنده وجود نداشته و راه تقلب در این راه بر آن‌ها بسته بوده است. اما بحث تقلبی که در ابتدای متن به آن اشاره گردید و بدون شک در این دسته قرار می‌گیرد از چه جنسی بوده است؟
شرک‌های اندرویدی برای اینکه بتوانند حداکثر توان SOC محصول خود را به رخ بکشانند دست به یک‌سری بهینه‌سازی‌هایی در کرنل اندروید می‌زنند که در بسیاری از موارد مفید فایده واقع می‌شود. اما در این میان بهینه‌سازی‌هایی نیز در سیستم‌عامل فقط به‌منظور افزایش نتایج در بنچمارک انجام می‌پذیرد که حاصل خروجی در تجربه کاربر هیچ تأثیر مستقیمی نداشته و تنها برای تصاحب بازار صورت می‌پذیرد.
با نمودار زیر از رفتار گلکسی S4 نسخه S600 در تست AndEBench ، این روش از تقلب یا بهینه‌سازی را توضیح می‌دهم.
خطوط آبی مربوط به رفتاریک هسته CPU بدون هیچ تقلب یا بهینه‌سازی در تست AnandBench است، در حالی که خطوط قرمز رفتارهمان هسته CPU را با توجه به بهینه‌سازی‌های سامسونگ در این تست نشان می‌دهد. همانگونه که ملاحظه می‌کنید هسته پردازشی در حالت نرمال و واقعی بعد از صرف مدت زمانی به ماکزیمم مقدار خود می‌رسد و در این میان بارها فرکانس هسته ( محور عمودی) کم و زیاد می‌گردد. اما خطوط قرمز که معین کننده رفتار هسته در حالت بهینه‌سازی هستند از همان لحظه اول در ماکزیمم فرکانس کاری شروع شده و با همان فرکانس بنچمارک را به پایان می‌رساند. دلیل این نوع رفتار آن است که با توجه به کدهایی که شرکت‌ها به سیستم‌عامل اضافه می‌کنند، سیستم عامل در همان لحظه‌ای که اپلیکیشن بنچمارک شروع به‌کار می‌کند به طور مصنوعی فرکانس پردازنده را به ماکزیمم مقدار خود می‌رساند و بدین ترتیب دیگر شاهد کاهش فرکانس در حین عملیات بنچمارک نخواهیم بود ( البته اناند اذعان می کند که بعضی مواقع فرکانس از حداکثر پایین می آید تا ازایجاد گرمای بیش از اندازه جلوگیری شود).
نکته اصلی آن است که چون در بنچمارک‌ها محور زمان در نظر گرفته می‌شود همین پایین بودن فرکانس در لحظاتی از زمان موجب کاهش بسیار اندک در نتایج بنچمارک خواهد شد
همانگونه که متوجه شدید روش دومی که توسط اکثر شرکت‌ها صورت پذیرفته است ( از جمله توسط سامسونگ در نوت ۳ یا الجی در G2 و حتی HTC در HTC one) بیشتر به یک بهینه‌سازی بی‌ارزش شبیه می‌باشد تا تقلب واقعی. متاسفانه بسیاری از مخالفان اندروید از جمله مدیر بازاریابی شرکت اپل، فیل شیلر با بزرگ‌نمایی بیش از اندازه سعی در کمرنگ کردن موفقیت شرکت‌های اندرویدی دارند. فیل شیلر نتایج بنچمارک نوت ۳ را غیر واقعی می‌خواند و اینچنین می‌گوید که "سامسونگ در موقع تست، پردازنده را به حالت خاص و قویتری می‌برد" که از نظر او مشابه حالت اول تقلب است که در سطور بالا به آن پرداختیم. اما با توضیحاتی که ذکر شد ایشان احتمالا دچار خطا شده و تفاوت میان این دو حالت را درک نکردند.
در ادامه می‌توانیم جدول تهیه شده توسط وب‌سایت Anandtech را مشاهده کنیم که نشان می‌دهد که هر یک از محصولات پرچمدار بازار برای چه بنچمارک‌هایی بهینه شده‌اند.
Device | SoC | Cheats In | ||||||
|---|---|---|---|---|---|---|---|---|
|
| 3DM | AnTuTu | AndEBench | Basemark X | Geekbench 3 | GFXB 2.7 | Vellamo |
ASUS Padfone Infinity | Qualcomm Snapdragon 800 | N | Y | N | N | N | N | Y |
HTC One | Qualcomm Snapdragon 600 | Y | Y | N | N | N | Y | Y |
HTC One mini | Qualcomm Snapdragon 400 | Y | Y | N | N | N | Y | Y |
LG G2 | Qualcomm Snapdragon 800 | N | Y | N | N | N | N | Y |
Moto RAZR i | Intel Atom Z2460 | N | N | N | N | N | N | N |
Moto X | Qualcomm Snapdragon S4 Pro | N | N | N | N | N | N | N |
Nexus 4 | Qualcomm APQ8064 | N | N | N | N | N | N | N |
Nexus 7 | Qualcomm Snapdragon 600 | N | N | N | N | N | N | N |
Samsung Galaxy S 4 | Qualcomm Snapdragon 600 | N | Y | Y | N | N | N | Y |
Samsung Galaxy Note 3 | Qualcomm Snapdragon 800 | Y | Y | Y | Y | Y | N | Y |
Samsung Galaxy Tab 3 10.1 | Intel Atom Z2560 | N | Y | Y | N | N | N | N |
Samsung Galaxy Note 10.1 (2014 Edition) | Samsung Exynos 5420 | Y(1.4) | Y(1.4) | Y(1.4) | Y(1.4) | Y(1.4) | N | Y(1.9) |
NVIDIA Shield | Tegra 4 | N | N | N | N | N | N | N |
همانگونه که ابتدای مقاله توضیح داده شد محصولات نکسوس گوگل و محصولات موتورولا درگیر اینچنین تقلب فراگیری نشدند حال آنکه بیشتر شرکت‌ّ‌های مطرح اندرویدی روی به این کار اشتباه آوردند.
در این جدول رفتار اکتای جدید یعنی Exynos 5420 که در نوت ۳ نسخه بین‌الملل و تبلت نوت ۱۰.۱ به کار رفته است از همه جالب‌تر می‌باشد. اکتای جدید به‌صورت مداوم در بالاترین فرکانس هسته‌های پرقدرت خود یعنی A15 با فرکانس 1.9 نمی‌ماند. گاهی اوقات روی ماکزیمم فرکانسی هسته‌های کوچکتر یعنی A7 می‌رود و گاهی دیگر روی ماکزیمم فرکانس A15. بدین ترتیب بنچمارک‌های اکتای جدید بیشتر به واقعیت نزدیک می‌باشند و میزان بهینه‌سازی ناعادلانه در آن‌ها کمتر می‌باشد.
در قسمت بعدی مقاله نتایج این بهینه‌سازی‌ها را در نوت ۳ شاهد خواهیم بود و در انتها با نمایش بنچمارک‌های نوت ۳ متوجه می‌شویم که این فبلت هوشمند بدون انجام بهینه‌سازی‌ها، همچنان در صدر گوشی‌های اندرویدی قرار می‌گیرد.
نتیجه‌گیری
متاسفانه بیش از آنکه تجربه کاربری پرچمداران مورد نظر باشد، بیش از حد لازم به بنچمارک‌ها اهمیت داده شد که در نهایت منجر به یک تقلب گسترده در میان شرکت‌های اندرویدی گردید. البته نمی‌توان اظهار نظر قطعی در مورد گوشی‌های ویندوز فون یا گوشی‌های مبتنی بر iOSدر این زمینه کرد چرا که سیستم عامل بسته‌آنها کار بررسی را قدری دشوار می‌سازد.
در حقیقت ادعای تقلب نیز کمی برای عمل صورت گرفته به اغراق نزدیک است چرا که بنچمارک‌ها در حالت تقلب شده همچنان چیزی فراتر از توان پردازشی را به کاربر نشان نمی‌دهند و ادعای تقلب بیشتر به دستکاری در اعداد نمایش داده شده نزدیک است. به نظر نگارنده اینچنین تغییراتی را می‌توان نمایش ناعادلانه یا بهینه‌سازی‌های بی‌فایده تصور کرد چرا که بنا بر آزمایشات صورت گرفته، تغییرات حاصله از این بهینه‌سازی‌ها آنچنان زیاد نیست. در بهینه‌سازی ناعادلانه به‌جای آنکه در طول بنچمارک فرکانس با توجه به وظیفه دریافتی به آرامی به حداکثر برسد از همان اول به شکل مصنوعی در بالاترین فرکانس کار می‌کند اما خوشبختانه این بالاترین فرکانس برای دیگر برنامه های سیستم عامل در دسترس می‌باشد. به همین دلیل است که اتهام تقلب خیلی فراتر از آن‌چیزی است که صورت گرفته است.
جدول و شکل و بعضی از تحلیل‌ها برگرفته از سایت Anandtech می‌باشد.
نظرات