پروژه ساده با نتیجه خیره‌کننده؛ راهکاری که هزینه هوش مصنوعی کلاد را ۷۰ درصد کاهش می‌دهد

یک‌شنبه 14 تیر 1405 - 11:44
مطالعه 2 دقیقه
انگشت دست روی آیکون کلاد در نمایشگر
یک پروژه‌ی متن‌باز جدید با راهکاری بسیار ساده، هزینه‌های استفاده از توکن در مدل‌های هوش مصنوعی را کاهش می‌دهد.
تبلیغات

ابزار متن‌باز جدیدی به نام pxpipe توسعه یافته است که با تبدیل متن‌های طولانی به تصاویر PNG، میزان مصرف توکن را در مدل‌های هوش مصنوعی خصوصا کلاد به‌طور چشمگیری کاهش می‌دهد. این ابزار به عنوان یک پروکسی محلی عمل می‌کند و بخش‌های حجیم درخواست‌ها را پیش از ارسال به سرورها، از طریق تصویرسازی هوش مصنوعی به تصویر تبدیل می‌کند.

تصویری از یک متن طولانی و متراکم حاوی نوشته‌های انگلیسی و جزئیات علمی.
تصویری از متن‌های فنی و کدهای برنامه‌نویسی شامل تحلیل توکن‌ها و داده‌های متنی در یک محیط کدنویسی.

هزینه‌ی توکن‌های تصویری بر اساس ابعاد پیکسل محاسبه می‌شود و به حجم متن داخل آن بستگی ندارد. در ترافیک واقعی ابزار Claude Code، محتوای متراکم در قالب تصویر حدود ۳٫۱ کاراکتر به ازای هر توکن را پشتیبانی می‌کند، در حالی که این عدد در حالت متنی حدود یک کاراکتر به ازای هر توکن است. این تفاوت ساختاری به کاهش ۵۹ تا ۷۰ درصدی هزینه‌ی نهایی کاربران منجر می‌شود.

توسعه‌دهندگان این ابزار اعلام کرده‌اند که سیستم در پردازش مدل Fable 5 عملکرد بسیار مناسبی دارد و در آزمایش‌های SWE-bench Lite موفق به کاهش ۶۵ درصدی حجم درخواست‌ها شده است. با این حال، استفاده از این روش با کاهش جزئی دقت در بازخوانی دقیق رشته‌های متنی خاص مانند کدهای هش یا شناسه‌های اختصاصی همراه است. به همین دلیل، مدل‌های قدیمی‌تر مانند Opus 4.8 و GPT-5.5 به صورت پیش‌فرض از این قابلیت استفاده نمی‌کنند و فعال‌سازی آن‌ها به صورت اختیاری انجام می‌شود.

ابزار pxpipe برای مدیریت بهینه‌ی هزینه‌ها، تنها بخش‌هایی از ورودی را که از نظر اقتصادی به‌صرفه هستند، به تصویر تبدیل می‌کند. این موارد شامل خروجی‌های بزرگ ابزارها با حجم بیش از ۶ هزار کاراکتر، تاریخچه‌های قدیمی گفت‌و‌گو و دستورالعمل‌های ثابت سیستم می‌شود. پیام‌های اخیر کاربر و خروجی‌های متنی خود مدل هوش مصنوعی بدون تغییر و به صورت متنی منتقل می‌شوند تا دقت پاسخ‌دهی حفظ شود.

نظرات