محققان انویدیا، فریم‌ورکی برای تبدیل تصاویر دوبعدی به مدل‌های سه‌بعدی ابداع کردند

اگرچه کامپیوترها ابزاری ایده‌آل برای دریافت مدل‌های سه‌بعدی و رندرینگ آن به صفحات دو‌بعدی هستند اما توانایی دریافت تصاویر دوبعدی و تبدیل آن به مدل سه‌بعدی را ندارند. اما حالا و به لطف یادگیری ماشین، این موضوع دارد جامه عمل می‌پوشد.

این سیستم که رندرساز بر پایه الحاق تشخیص پذیر (differentiable interpolation-based renderer) یا به اختصار DIB-R نامیده می‌شود در محیط فریم‌ورک یادگیری ماشین PyTorch  ساخته شده است و قرار است نتایج تحقیقات این گروه از محققان، این هفته در کنفرانس سالانه NIPS (سیستم‌های پردازش اطلاعات عصبی) در ونکوور و واشنگتن ارائه شود.

در حقیقت این فریم‌ورک، کاری برعکس GPU انجام می‌دهد؛ بدین ترتیب که در ابتدا تصویر را آنالیز می‌کند و بر این اساس، مدلی سه‌بعدی شامل شکل، بافت، رنگ و نوردهی با دقت بالا می‌سازد. ساختار معماری رمزگذاری و رمزگشایی این فریم‌ورک از تولید یک حجم کروی با اضلاع بسیار زیاد آغاز می‌شود و سپس با استفاده از اطلاعات موجود در تصویر دوبعدی، این ساختار کروی را به مدلی سه‌بعدی توسعه می‌دهد. این فرایند تنها یک‌دهم ثانیه زمان می‌برد ولی آموزش شبکه عصبی با کمک یک GPU انویدیا  V100 به دو روز زمان نیاز دارد و البته انویدیا ادعا می‌کند که این یادگیری با مدل‌های دیگر GPU ممکن است هفته‌ها طول بکشد.

جون گائو یکی از اعضای این گروه تحقیقاتی می‌گوید :

چون تمرکز ما روی عکس پرندگان بود، بعد از انجام فرایند روی چندین مجموعه عکس از پرندگان مختلف، حالا DIB-R می‌تواند با دریافت عکس هر نوع پرنده‌ای، یک مدل سه‌بعدی دقیق از آن تهیه کند و این اولین‌بار است که شما تنها با در دست داشتن یک تصویر دوبعدی می‌توانید ویژگی‌های سه‌بعدی آن را پیش‌بینی کنید.

محققان معتقدند که می‌توان از این سیستم برای توسعه ایمنی و دقت ربات‌های خودران در محیط‌های مختلف بهره برد؛ چراکه درک عمیق‌تر نسبت به یک محیط سه‌بعدی، ربات‌ها را قادر می‌سازد تا هدایت‌پذیری و راهبری بهتری داشته باشند.

انویدیا، سیستم DIB-R را به یک کتابخانه یادگیری عمیق سه‌بعدی در PyTorch گیت ‌هاب با عنوان کائولین افزوده است و از این پس، کائولین دانشمندان را در سرعت بخشی به تحقیقات مربوط به یادگیری عمیق سه‌بعدی، یاری خواهد کرد.