>/BASH

پیش‌چاپ: زمینه کاری کوتاه‌تر، بخش عمده عملکرد هوش مصنوعی در آزمون‌ها را حفظ می‌کند

پژوهشگران گزارش می‌دهند که فشرده‌سازی مکرر زمینه، عملکرد عامل‌های هوش مصنوعی را در گردش‌کارهای آزمایش‌شده تا حد زیادی حفظ کرده است. آزمایش‌های جداگانه سرویس‌دهی، توان عملیاتی بالاتر تولید توکن را با زمینه کوتاه‌تر نشان دادند؛ اما صرفه‌جویی برآوردشده، کاهش صورتحساب مشتریان یا بی‌نیازی از قابلیت زمینه

پیش‌چاپ: زمینه کاری کوتاه‌تر، بخش عمده عملکرد هوش مصنوعی در آزمون‌ها را حفظ می‌کند

عامل‌های هوش مصنوعی ممکن است بتوانند بسیاری از گردش‌کارهای طولانی را بدون وارد کردن کل تاریخچه تعامل به هر فراخوانی مدل تکمیل کنند. پیش‌چاپی از پیتر بلچاک و همکارانش که در ۳ نوامبر ۲۰۲۶ در arXiv منتشر شد، گزارش می‌دهد که فشرده‌سازی مکرر این تاریخچه، ضمن کوتاه نگه داشتن زمینه کاری، دقت در آزمون‌ها را تا حد زیادی حفظ کرده است. داوری علمی این پژوهش تأیید نشده و شواهد ارائه‌شده شامل تکرار مستقل نتایج نیست.

این مطالعه، انباشت کامل تاریخچه را با فرایندی مقایسه کرد که پس از رسیدن تعداد توکن‌ها به آستانه‌ای مشخص، از مدل می‌خواهد گزارشی فشرده از وضعیت مرتبط با تکلیف تهیه کند. سپس گفت‌وگویی تازه، تکلیف اصلی و آن گزارش را دریافت می‌کند. این گزارش‌های فشرده، به‌جای بازگویی صرف اقدامات گذشته، بر الزامات، کار جاری، گام‌های بعدی و خروجی‌های مرتبط تأکید دارند.

آزمایش‌های اصلی از Claude Opus 4.5 و GPT 5.6 Sol در شش مجموعه‌آزمون وظایف چندمرحله‌ای استفاده کردند که اصلاح نرم‌افزار، کار با ترمینال، بازیابی اطلاعات و استفاده از ابزار را پوشش می‌دادند. برای وظایف برنامه‌نویسی، ترمینال و FRAMES، سقف کل زمینه از ۴۸٬۰۰۰ تا ۱۶٬۰۰۰ توکن آزمایش شد؛ برخی تنظیمات استفاده از ابزار، سقف‌های کوچک‌تری داشتند. ارزیابی بر آزمون‌های مخزن کد، تأییدکننده‌های تکلیف یا بررسی‌های مختص هر مجموعه‌آزمون تکیه داشت و برای FRAMES از داوری یک مدل زبانی استفاده شد.

در ۲۲ پیکربندی فشرده‌سازی برای هر مدل، تغییر دقت نسبت به مبنای دارای تاریخچه کامل، برای Claude از منفی ۳٫۷ تا مثبت ۵٫۶ واحد درصد و برای GPT از منفی ۳٫۳ تا مثبت ۴٫۴ واحد درصد بود. برای هر مدل، حداکثر پنج پیکربندی بیش از دو واحد درصد افت داشتند. این نتایج نشان می‌دهند که فشرده‌سازی مکرر می‌تواند بخش عمده عملکرد آزمایش‌شده را حفظ کند، اما تفاوت‌های کوچک به‌تنهایی هم‌ارزی آماری را اثبات نمی‌کنند.

آزمایش‌های جداگانه، مدل‌های با وزن‌های باز را روی آرایش‌های ثابت پردازنده گرافیکی H100 سنجیدند. با پیشوندهای ورودی ذخیره‌شده در حافظه نهان و سرویس‌دهی در حالت اشباع، کاهش اندازه تنظیم‌شده زمینه از ۲۵۶٬۰۰۰ به ۱۶٬۰۰۰ توکن، توان عملیاتی اوج تولید توکن را برای GLM 5.2 به ۳٫۶ برابر، برای Kimi K2.6 به ۵٫۶ برابر و برای Qwen 3 Coder Next به هفت برابر رساند. این اندازه‌گیری‌ها به تولید توکن خروجی در شرایط مشخص سرویس‌دهی مربوط‌اند، نه گردش‌کار کامل شامل پردازش ورودی، فشرده‌سازی و اجرای ابزارها.

نویسندگان همچنین برآورد کردند که هزینه وظایف چندمرحله‌ای برای Claude بین ۲٫۲ تا ۸٫۸ برابر و برای GPT بین ۲٫۴ تا ۵٫۰ برابر کاهش می‌یابد. این صرفه‌جویی‌ها حاصل مدل‌سازی‌اند، نه کاهش اندازه‌گیری‌شده در صورتحساب API مشتریان؛ پیوست مدل هزینه در متن ارائه‌شده ناقص است.

برای وظایف دارای ورودی بلند، پژوهشگران خواندن گزینشی اسناد ذخیره‌شده در یک سامانه فایل را در هفت مجموعه‌آزمون بررسی کردند و امکان فشرده‌سازی را نیز در صورت نیاز فراهم ساختند. چون این روش، دسترسی به اسناد و استفاده از ابزار را هم‌زمان با مدیریت زمینه تغییر می‌دهد، نمی‌توان آثار آن را فقط به فشرده‌سازی نسبت داد. فایل‌های بیرونی نیز همچنان مخزن اطلاعات هستند: زمینه فعال کوتاه به معنای نگهداری اطلاعات اندک در کل سامانه نیست.

فشرده‌سازی ممکن است جزئیاتی را حذف کند که بعداً لازم می‌شوند. استقلال تکلیف‌ها، آلودگی مجموعه‌آزمون‌ها به داده‌های آموزشی و آثار انتخاب میان مقایسه‌های متعدد روشن نشده‌اند؛ همچنین نتایج ارائه‌شده فاقد فاصله‌های اطمینان یا آزمون‌های هم‌ارزی آماری هستند. شواهد از زمینه کاری کوتاه‌تر برای بسیاری از گردش‌کارهای آزمایش‌شده عامل‌ها پشتیبانی می‌کنند، اما همچنان مشخص نیست قابلیت زمینه بلند در چه مواردی سودمند باقی می‌ماند.

منبع: https://arxiv.org/html/2611.05306v1

تصویر جلد با هوش مصنوعی تولید شده و تصویرسازی مفهومی است؛ مدرک پژوهش نیست.

منابع اصلی

پست این خبر در اینستاگرام