جهش تاریخی هوش مصنوعی؛ مرز محدودیت متن ورودی به ۱۲ میلیون توکن رسید

شرکت ساب‌کوادراتیک مستقر در میامی، از اولین مدل هوش مصنوعی خود رونمایی کرد. این مدل دارای پنجره‌ی زمینه‌ی (Context Window) ۱۲ میلیون توکنی است. این نخستین بار است که محدودیت ورودی هوش مصنوعی تا این حد گسترش پیدا می‌کند.

منظور از پنجره‌ی زمینه، اطلاعاتی است که هر مدل هوش مصنوعی می‌تواند در یک ‌بار ورودی دریافت کند؛ چیزی شبیه‌به حافظه‌ی کوتاه‌مدت انسان‌ها.

دستاورد ساب‌کوادراتیک در حالی رخ می‌دهد که اکثر مدل‌های پیشرو در سال ۲۰۲۶، سقف یک میلیون توکن را دارند و بسیاری از آن‌ها در استفاده‌ی بهینه از همان یک میلیون توکن هم ناتوان هستند.

ساب‌کوادراتیک که تیمی از ۱۱ پژوهشگر دارای مدرک دکتری دارد، معماری جدیدی به نام Subquadratic Selective Attention (SSA) را معرفی کرده است. این ساختار باعث می‌شود مصرف حافظه و توان پردازشی هوش مصنوعی به‌صورت خطی افزایش یابد، نه تصاعدی.

در مدل‌های ترنسفورمر سنتی، دو برابر شدن ورودی باعث چهار برابر شدن حجم محاسبات می‌شود؛ اما معماری SSA این محدودیت را برطرف کرده است و در حجم یک میلیون توکن، ۵۲ برابر سریع‌تر از روش‌های متداول عمل می‌کند؛ ادعایی که بسیار چشمگیر به نظر می‌رسد.

مدل اختصاصی ساب‌کوادراتیک در آزمون بازیابی سوزن در انبار کاه (تستی دشوار برای پیداکردن بخش‌های گم‌شده از یک ساختار) با ۱۲ میلیون توکن، به دقت ۹۲٫۱ درصد رسید و در بنچمارک MRCR v2 امتیاز ۸۳ را کسب کرد که ۹ واحد بالاتر از جدیدترین مدل هوش مصنوعی OpenAI است.

در حوزه‌ی برنامه‌نویسی، ساب‌کوادراتیک با کسب امتیاز ۸۲٫۴ درصد در SWE-bench، توانست از مدل‌های Opus 4.6 شرکت انتروپیک و جمنای ۳٫۱ پرو گوگل پیشی بگیرد.

الکس ودون، مدیر فنی ساب‌کوادراتیک، می‌گوید: «در معماری ما، انتخاب بخش‌های مهم متن بر اساس محتوا انجام می‌شود و این مکانیسم برخلاف مدل‌های دیگر، هزینه‌های پردازشی را به‌صورت تصاعدی افزایش نمی‌دهد.»

ساب‌کوادراتیک در حال حاضر دو محصول در فاز بتا منتشر کرده است: یک API با دسترسی به پنجره‌ی زمینه‌ی ۱۲ میلیون توکنی و یک ابزار برنامه‌نویسی به نام SubQ Code.

جاستین دانگل، مدیرعامل شرکت، اعلام کرد که هدف آن‌ها برای سه‌ماهه‌ی چهارم سال جاری، ارائه‌ی مدلی با پنجره‌ی زمینه‌ی ۵۰ میلیون توکنی است. این مدل‌ها در حال حاضر روی سرورهای نئوکلاد اجرا می‌شوند تا هزینه‌ها کاهش یابد.

ساب‌کوادراتیک تاکنون ۲۹ میلیون دلار سرمایه جذب کرده است و ارزش این شرکت ۵۰۰ میلیون دلار برآورد می‌شود.