قانون هوانگ به‌جای قانون مور؟ انویدیا آینده صنعت تک را به GPU پیوند می‌زند

ماه پیش، ویدیویی یک ساعته در یوتیوب منتشر شد که احتمالاً از چشم بسیاری از علاقه‌مندان به دنیای تکنولوژی پنهان ماند. دروغ چرا؟ حتی من هم خیلی دیر متوجه اهمیت آن شدم. بیل دالی (Bill Dally) دانشمند ارشد انویدیا در جمع سالانه‌ی مهندسان تراشه و سیستم که به‌اصطلاح «Hot Chips» نامیده می‌شود، درباره‌ی قانونی برای پردازنده‌های گرافیکی حرف زد که می‌گوید قرار است جای قانون مور را بگیرد و آینده‌ی کامپیوترها را تا نیم‌قرن آینده پیش‌بینی کند؛ قانونی به‌نام هوانگ (Huang's Law)!

برای اینکه اهمیت ادعای بیل دالی را درک کنید، باید ابتدا اهمیت قانون مور را بدانید. قانون مور می‌گوید تعداد ترانزیستورهایی را که می‌توان روی یک تراشه‌ی سیلیکونی قرار داد، هر ۱۸ ماه یک‌بار، دوبرابر خواهند شد و بدین‌ترتیب، قدرت پردازش داده‌ی کامپیوترها به‌صورت تصاعدی افزایش خواهد یافت.

برای ما مصرف‌کنندگان، قانون مور به این معنی است که با هزینه‌ی یکسان می‌توانیم هر ۱۸ ماه یک‌بار دوبرابر قدرت یارانشی بیشتری دریافت کنیم. اما برای صنعت تکنولوژی و آینده‌ی بشر، قانون مور پیش‌بینی قابل‌اطمینانی بود که در طول سال‌ها، شرکت‌های فناوری، استراتژی محصول خود را بر این فرض استوار کردند که قانون مور همواره صادق است و اگر حالا جدیدترین تراشه‌ی اپل ۱۹ میلیارد ترانزیستور دارد و نه مثلاً ۸ میلیارد تا، مدیون پایبندی صنعت تکنولوژی به قانون مور است. باز هم برای روشن‌تر شدن موضوع به این فکر کنید که اگر صنعت اتومبیل‌ قرار بود هم‌پای قانون مور و سرعت کامپیوتر‌ها رشد کند، خرید رولزرویس حالا ارزان‌تر از هزینه‌ی پارک کردنش بود!

بیل دالی در کنفرانس Hot Chips به دو موضوع بسیار مهم اشاره کرد که شاید تاریخ‌ساز شود. او گفت اکنون در صنعت تکنولوژی به مرحله‌ای رسیده‌ایم که توسعه‌ی پردازنده‌‌های جدید نمی‌تواند به قانون مور و تمرکزش بر کوچکی و سرعت تراشه‌ها متکی باشد؛ بلکه توسعه‌ی تراشه‌های جدید به نبوغ و تلاش برای کشف و تأیید موادسازنده‌ی جدید نیاز دارد. درحال‌‌حا‌ضر، تراشه‌ها از سیلیکون، عنصری شیمیایی موجود در شن، ساخته می‌شوند. شاید برای ساخت تراشه‌های آینده با قدرت بیشتر نیاز به کشف ماده‌ی دیگری باشد.

دومین موضوع مهمی که دالی در کنفرانس Hot Chips مطرح کرد، مقایسه‌ی رشد چشمگیر عملکرد پردازنده‌های گرافیکی در برابر پردازنده‌های مرکزی بود. سال‌ها، قانون مور فقط بر سرعت CPU تمرکز داشت و سرعت پردازش‌های مربوط به GPU نادیده گرفته می‌شد. اما انویدیا می‌خواهد نگاه صنعت نیمه‌هادی به اهمیت GPU را عوض کند.

اگر اهل گیمینگ باشید، حتماً از قدرت کارت‌های گرافیک انویدیا در اجرای بازی‌های ویدیویی آگاهید. اما افزایش ارزش انویدیا از ۱۵۰ میلیارد دلار به یک تریلیون دلار تنها در عرض ۵ سال، بیش از آنکه به محبوبیت بازی‌های ویدیویی مربوط باشد، مدیون هوش مصنوعی است.

اواسط دهه‌ی ۲۰۰۰ بود که افراد فعال در حوزه‌ی محاسبات با کارایی بالا (HPC) متوجه شدند که پردازنده‌های گرافیکی در انجام عملیات ریاضی به‌مراتب سریع‌تر از CPU هستند و از‌این‌رو، شروع به استفاده از GPU به‌عنوان شتاب‌دهنده در ابرکامپیوترها کردند. در چند سال گذشته هم غول‌های دنیای وب ازجمله گوگل کشف کردند که از پردازنده‌های گرافیکی می‌توان در یادگیری عمیق استفاده کرد؛ همان روشی که اجازه می‌دهد ماشین‌ها به‌‌تقلید از رفتار مغز انسان‌ها، خودشان از روی نمونه آموزش ببینند و مرتب رشد کنند.

انویدیا تنها بازیگر دنیای یادگیری عمیق نیست، اما یکی از مهره‌های اصلی‌ای است که انقلاب یادگیری عمیق و به‌دنبال آن، رشد بی‌سابقه‌ی هوش مصنوعی را ممکن کرده است. بدون یادگیری عمیق مبتنی‌بر GPU نمی‌توانستیم به‌این زودی‌ها سراغ توسعه‌ی سیستم خودران برای خودرو برویم.

هر آنچه این‌روزها از چت‌بات‌ها، مولدهای تصویر و موسیقی، الگوریتم‌های نتفلیکس و اسپاتیفای و کلاً هر روند اتوماسیونی که زندگی‌مان را آسان‌تر کرده در اختیار داریم، به‌خاطر یادگیری عمیق است.

تخصص انویدیا از مدت‌ها پیش بر پردازنده‌های گرافیکی متمرکز بوده؛ پردازنده‌هایی که کارشان بهینه‌ کردن اجرای چندین تسک مستقل به‌طور همزمان است. درمقابل، پردازنده‌های مرکزی که بیشتر در حوزه‌ی تخصص اینتل قرار می‌گیرند، برخلاف GPU بر بهینگی تمرکز ندارند و کارشان این است که یک تسک مشخص را به‌سریع‌ترین حالت اجرا کنند. البته نمی‌شود هر فرایند رایانشی را طوری بخش‌بخش کرد که هر بخش آن بتواند به‌روشی کاملاً بهینه توسط GPU پردازش شود؛ اما برای آن دسته از فرایندهایی که این امکان را دارند، مثل بسیاری از فرایندهای مرتبط با هوش مصنوعی، می‌توان آن‌ها را به‌کمک GPU با سرعتی چندبرابر، اما با صرف قدرتی یکسان پردازش کرد.

در سال ۲۰۰۶ که انویدیا اولین محصول دیتاسنتر خود را عرضه کرد، پردازنده‌های گرافیکی این شرکت چهار برابر عملکرد بهتری از پردازنده‌های مرکزی داشتند. با نصب پردازنده‌های گرافیکی ولتا V100 در ابرکامپیوترها، این تفاوت عملکرد به‌طرز چشمگیری افزایش پیدا کرد، به‌طوری که به‌گفته‌ی ایان باک، مدیر کل رایانش شتاب‌یافته انویدیا، در سال ۲۰۱۸، GPU این شرکت ۲۰ برابر سریع‌تر از یک CPU هم‌رده بود.

افزایش عملکرد پردازنده‌های گرافیکی در ده سال گذشته به‌قدری خیره‌کننده است که مجله‌ی IEEE Spectrum متعلق به مؤسسه‌ی مهندسان برق و الکترونیک برای اولین‌بار آن را در سال ۲۰۱۸ «قانون هوانگ» نامید، اما توجه خاصی به آن نشد. دو سال بعد، وال استریت جورنال در مقاله‌ای استفاده از عبارت «قانون هوانگ»‌ را کمی متداول کرد، تا اینکه اخیراً نام این قانون با سخنرانی دالی در کنفرانس Hot Chips دوباره بر سر زبان‌ها افتاد.

مجله‌ی IEEE Spectrum «قانون هوانگ» را براساس صحبت‌های جنسن هوانگ در کنفرانس تکنولوژی GPU انویدیا در سال ۲۰۱۸ مطرح کرد. مدیرعامل انویدیا در این کنفرانس چندین بار به این نکته اشاره کرد که به‌خاطر پیشرفت‌های غول‌آسای تکنولوژی، پردازنده‌های گرافیکی از قانون مختص خودشان پیروی می‌کنند، نه قانون مور که بیشتر درمورد پردازنده‌های مرکزی است.

قانون جدیدی در جریان است؛ یک قانون بسیار پرقدرت.

- جنسن هوانگ، انویدیا

هوانگ مشاهده کرد که GPUهای انویدیا «۲۵ برابر از پنج سال پیش سریع‌تر هستند»، درحالی‌که اگر قرار بود طبق قانون‌ مور پیشرفت کنند، این رشد عملکرد صرفاً ده برابر بود.

در جای دیگری، هوانگ قدرت فزاینده‌ی پردازنده‌های گرافیکی را با معیار دیگری بررسی کرد؛ زمان لازم برای آموزش شبکه‌ی عصبی AlexNet، با ۱۵ میلیون تصویر. او گفت که پنج سال پیش، شش روز طول می‌کشید تا AlexNet را به‌کمک دو کارت‌ گرافیک سری GTX 580 انویدیا آموزش داد. اما با استفاده از جدیدترین سرورهای هوش مصنوعی این شرکت موسوم‌ به DGX-2، آموزش شبکه‌ی AlexNet فقط ۱۸ دقیقه طول می‌کشد؛ یعنی افزایش ۵۰۰ برابری!

از آن گذشته، پردازنده‌های گرافیکی اکنون توان ۵۰ درصد از محاسبات ممیز شناور در ۵۰ ابرکامپیوتر دنیا را تأمین می‌کنند. به‌گفته‌ی باک، «این ۱۵ درصد افزایش در پنج سال گذشته را نشان می‌دهد. کاملاً واضح است که ما داریم افزایش نجومی در رایانش شتاب‌یافته و قدرت GPU تجربه می‌کنیم.»

باک همچنین اضافه کرد که یادگیری عمیق در مقایسه با روش‌های یادگیری ماشین سنتی، افزایش ۱۹۰ برابری را برای تشخیص تصویر به ارمغان آورده است. به‌همین‌ترتیب، عملکرد مترجم زبان عصبی ۵۰ برابر، تکنولوژی تشخیص گفتار ۶۰ برابر و تکنولوژی تولید صدا ۳۶ برابر بهبود داشته است.

اما چه عامل یا عواملی باعث چنین رشد چشمگیری در عملکرد GPU شد و چه چیزی باعث شد انویدیا به این نتیجه برسد که صنعت تکنولوژی حالا تحت کنترل قانون جدیدی است؟

انویدیا ادعا می‌کند هم‌افزایی بین سخت‌افزار، نرم‌افزار و هوش‌ مصنوعی، شکل‌گیری قانون جدید را ممکن کرده است. مثلاً جایی که هوانگ داشت از مرگ قانون مور و قدرت گرفتن هوش مصنوعی صحبت می‌کرد، به مقوله‌ی «رایانش شتاب‌یافته» پرداخت؛ سبک مدرنی از رایانش که پردازش‌های سنگین نرم‌افزاری را از پردازش‌های سبُک جدا کرده و به ماژول دیگری موسوم‌ به شتاب‌دهنده‌ی سخت‌افزاری می‌سپارد تا بار از روی CPU برداشته شود.

هوانگ گفت: «رایانش شتاب‌یافته، کل پشته، الگوریتم‌ها، نرم‌افزار و پردازنده را در نظر می‌گیرد. ما می‌توانیم گلوگاه‌ها را پیدا کنیم. سیستم‌های نرم‌افزاری جدید به بهبود عملکرد کل برنامه کمک می‌کنند، نه صرفاً تراشه.»

رایانش شتاب‌یافته چاره‌ساز است. فرض کنید هواپیمایی دارید که باید بسته‌ای را تحویل دهد. تحویل آن ۱۲ ساعت طول می‌کشد. به‌جای اینکه سرعت حرکت هواپیما را زیاد کنید، روی نحوه‌ی تحویل سریع‌تر بسته تمرکز کنید. به پرینت سه‌بعدی مقصد نگاه کنید. شتاب دادن به فرایند اجرای برنامه صرفاً برای افزایش سرعت تراشه نیست؛ بلکه برای سریع‌تر رسیدن به هدف است.

- جنسن هوانگ، انویدیا

از سوی دیگر، باک می‌گوید اگر انویدیا با ایجاد تغییرات بزرگ در نحوه‌ی توسعه‌ی سخت‌افزار و توسعه‌ی نرم‌افزار برای بهره‌برداری از آن سخت‌افزار روی آینده‌ی خود شرط‌بندی نمی‌کرد، چنین رشد چشمگیری امکان‌پذیر نبود.

این واقعاً نشان می‌دهد که ما چگونه در حال نوآوری هستیم و چگونه در مورد محصولات خود و بازار فکر می‌کنیم. معماری‌هایمان را تغییر می‌دهیم. مجموعه دستورالعمل‌ها را تغییر می‌دهیم. ما از انجام این کار نمی‌ترسیم، چون در حال توسعه‌ی نوع جدیدی از مدل رایانش شتاب‌یافته هستیم که قوانین قدیمی را زیر پا می‌گذارد و این کار را سریع‌تر از قانون مور انجام می‌دهد.

- ایان باک، مدیر کل رایانش شتاب‌یافته انویدیا

باک گفت: «موضوع اصلی سر ایجاد نوع متفاوتی از رایانش است. ما نمی‌خواهیم پردازنده‌ای بسازیم که سعی می‌کند فقط یک مجموعه دستورالعمل ثابت را اجرا کند؛ بلکه ما در حال ساختن یک پلتفرم کامل و ایجاد نوآوری در تمام لایه‌های آن هستیم.»

وقتی به تمام معیارها و سیر رشد پردازنده‌های گرافیکی دقت می‌کنیم، به‌نظر می‌رسد در مقایسه با قانون مور که صرفاً بر تعداد ترانزیستورهای CPU تمرکز دارد، قانون هوانگ ترکیبی از پیشرفت‌ها در معماری تراشه، اتصالات، فناوری حافظه و الگوریتم‌ها را دربرمی‌گیرد.

البته قانون هوانگ هنوز به مرحله‌ی اعتبار قانون مور نرسیده است؛ درحالی‌که بخشی از صنعت تکنولوژی، اعتبار قانون هوانگ را کم‌وبیش پذیرفته، بخش بزرگ‌تری درباره‌اش سکوت کرده یا از آن خبر ندارد، بخش دیگری هم اعتبارش را زیر سؤال برده است. برای مثال، وب‌سایت ExtremeTech در سال ۲۰۲۰ نوشت که «چیزی به اسم قانون هوانگ وجود ندارد» و آن را «توهمی» خواند که به‌خاطر پیشرفت‌های مربوط به قانون مور ایجاد شده است.

منتقدان می‌گویند قانون هوانگ نمی‌تواند به‌صورت مستقل از قانون مور وجود داشته باشد. اگر قانون مور دچار دردسر شده باشد، چه از نظر تعداد ترانزیستورها و چه از نظر بهبود عملکرد، قانون هوانگ نیز این دردسر را خواهد داشت.

از سوی دیگر، منتقدان می‌گویند از حالا قضاوت کردن درباره‌ی قانون هوانگ زود است و اینکه اصلا معلوم نیست روند رشد هوش مصنوعی و یادگیری ماشین با همین سرعت امروزی ادامه پیدا کند. قانون مور ۶۱ سال است که پابرجا است؛ اگر قانون هوانگ تا سال ۲۰۳۰ پابرجا باشد، پس حتما وجود داشته است.

مشکل چنین رویکرد انتقادی این است که اهمیت اصلی قانون مور را در نظر نمی‌گیرد. آنچه قانون مور را ارزشمند کرد نه صرفاً صحت پیش‌بینی آن، بلکه اعتماد صنعت تکنولوژی به صحت پیش‌بینی‌اش بود. اگر این اعتماد نبود، شرکت‌های تکنولوژی استراتژی تولید محصول خود را برپایه این قانون تنظیم نمی‌کردند و در نتیجه، پیش‌بینی‌های قانون مور هم به‌وقوع نمی‌پیوست.

اینتل محرک اصلی قانون مور بود، اما در این راه تنها نبود. پایبندی به قانون مور نیازمند ده‌ها هزار مهندس و میلیاردها دلار سرمایه‌گذاری در صدها شرکت در سراسر جهان بود. به‌همین‌شکل، انویدیا نیز در پایبندی به قانون هوانگ تنها نیست.

برای اینکه پیش‌بینی قانون هوانگ واقعاق درست از آب درآید، لازم است سایر شرکت‌های تکنولوژی، به‌ویژه شرکت‌های فعال در حوزه‌ی هوش مصنوعی به آن اعتماد کنند. سؤال این است که این اعتماد چه وقت شکل می‌گیرد و در سایه‌ی پایبندی به این پیش‌بینی، آینده‌ی صنعت تکنولوژی به چه شکل خواهد بود؟