هوش مصنوعی آلمانی Soofi S با توانایی پردازش متنهای طولانی معرفی شد
یک کنسرسیوم پژوهشی در آلمان مدل زبانی متنباز Soofi S را منتشر کرد که با وجود ساختار ۳۱٫۶ میلیارد پارامتری، در هر توکن تنها ۳٫۲ میلیارد پارامتر فعال را به کار میگیرد.
Soofi S که مراحل آموزش خود را بهطور کامل روی زیرساخت ابری دویچه تلهکام سپری کرده، در بنچمارکهای زبان آلمانی، انگلیسی و برنامهنویسی عملکردی برتر نسبتبه رقبای متنباز خود نشان داده است.
توسعهی این پروژهی با هماهنگی انجمن هوش مصنوعی آلمان انجام شد. سوفی اس توانسته است در آزمونهای مختلف از رقبای سرشناسی مانند OLMo 3 32B و Apertus 70B پیشی بگیرد. کارشناسان برای آموزش این مدل از معماری هیبریدی ویژهای استفاده کردهاند که سرعت پردازش دادهها را در ورودیهای بسیار طولانی ثابت نگه میدارد.
معماری سوفی اس بر پایهی طراحی ترکیبی از متخصصان (MoE) استوار است و از الگوی طراحی نیموترون ۳ نانو دارد. این ساختار با ترکیب لایههای مامبا-۲، نیاز به حافظه را در پردازش متنهای طولانی بهشدت کاهش میدهد. آزمایشها نشان میدهند که سرعت تولید توکن در سوفی اس هنگام پردازش ورودیهای طولانی، تا هشت برابر بیشتر از مدلهای متراکم مشابه است.
تیم توسعهدهنده برای آموزش سوفی اس حدود ۲۷ تریلیون توکن را در سه مرحله پردازش کرد. تمرکز ویژهی این پروژه روی زبان آلمانی بود، بهطوری که سهم منابع آلمانی در مرحلهی دوم آموزش به بیش از ۱۵ درصد رسید. این مدل در آزمون برنامهنویسی HumanEval به امتیاز ۷۳٫۸ درصد دست یافت و در ارزیابی دانش منطقهای آلمان نیز جایگاه نخست را کسب کرد.
برخی منتقدان به حجم بسیار بالای دادههای آموزشی در مقایسه با تعداد پارامترهای فعال مدل خرده گرفتهاند. مایکل فروم، از مدیران فنی پروژه، با رد این انتقادها اعلام کرد که قوانین سنتی مقیاسپذیری برای معماریهای مبتنیبر ترکیب متخصصان صدق نمیکنند. فروم به این نکته اشاره کرد که تکرار دادههای باکیفیت در این ساختارها، برخلاف مدلهای متراکم، آسیبی به کیفیت نهایی کار وارد نمیسازد.
