انتخاب مسئله‌هایی که یک مدل هوش مصنوعی باید تمرین کند، می‌تواند یادگیری تقویتی را پربازده‌تر کند. پژوهشگران وابسته به دانشگاه‌های میشیگان و ادینبرو در پیش‌چاپی در arXiv به تاریخ ۲ نوامبر ۲۰۲۶ گزارش می‌دهند که FADE با دنبال‌کردن توانایی متغیر مدل، جدا از دشواری هر پرسش، میانگین دقت استدلال ریاضی را افزایش می‌دهد. داوری علمی این پژوهش تأیید نشده و شواهد ارائه‌شده شامل تکرار مستقل نتایج نیست.
این روش یادگیری تقویتی با پاداش‌های قابل‌راستی‌آزمایی را هدف می‌گیرد؛ رویکردی که در آن یک بررسی‌کننده، پاسخ‌های تولیدشده را امتیازدهی می‌کند. در آموزش مبتنی بر پاداش نسبی گروه، پرسشی که پاسخ‌هایش همگی درست یا همگی نادرست باشند، سیگنال پاداش نسبی درون‌گروهی فراهم نمی‌کند. بنابراین زمان‌بندها به‌دنبال پرسش‌هایی هستند که احتمالاً ترکیبی از پاسخ‌های درست و نادرست ایجاد کنند. وقتی مدل در فاصله مراجعه‌های کم‌تعداد به یک پرسش پیشرفت می‌کند، پیگیری مستقل آن پرسش دشوار می‌شود: حافظه کوتاه می‌تواند رتبه‌بندی دشواری را به‌هم بزند و حافظه بلند برآوردهای موفقیت را قدیمی نگه دارد.
FADE از بازنمایی‌های برداری ثابت متن استفاده می‌کند که به ۳۲ بُعد سفیدسازی‌شده کاهش یافته‌اند و نقش مختصات مشترک مهارت را دارند. یک بردار توانایی با تغییر سریع، پیشرفت مدل را ثبت می‌کند و پارامترهای تعدیل با به‌روزرسانی آهسته، دشواری هر پرسش را نشان می‌دهند. پالایش مبتنی بر پولیا–گاما اجازه می‌دهد نتایج یک دسته، پیش‌بینی پرسش‌های دیگری با مختصات مرتبط را نیز به‌روز کند. سپس یک معیار مطلوبیت با لحاظ عدم‌قطعیت به انتخاب پرسش‌ها یا تخصیص پاسخ‌های تولیدی کمک می‌کند. به‌روزرسانی گاوسی به‌شرط ثابت بودن دقت‌های کمکی و برقرار بودن فرض‌های آن دقیق است؛ انتگرال‌گیری احتمال موفقیت و معیار مطلوبیت زمان‌بندی همچنان تقریبی‌اند.
نویسندگان Qwen2.5-Math-1.5B و Llama-3.2-1B-Instruct را روی ۱۵۰٬۰۰۰ مسئله NuminaMath آموزش دادند. آن‌ها برآوردگرها را در چهار پیکربندی زمان‌بندی DAPO-Filter، PCL، GRESO و GVM جایگزین کردند و قاعده زمان‌بندی هر میزبان را حفظ کردند. ارزیابی شامل MATH-500، AMC 2023، Minerva Math، بخش ریاضی صرفاً متنی OlympiadBench و مجموعه ترکیبی AIME 2024–2025 بود. Average@8 میانگین موفقیت با تطابق دقیق پاسخ را در هشت نمونه‌گیری برای هر مسئله با دمای ۰٫۷ اندازه می‌گیرد، نه احتمال دستیابی به دست‌کم یک پاسخ درست. امتیاز کلی گزارش‌شده به پنج محک وزن برابر می‌دهد.
FADE این میانگین را در هر هشت ترکیب زمان‌بند و مدل افزایش داد؛ بهبود نسبت به برآوردگرهای اصلی برای Qwen بین ۱٫۸ تا ۲٫۹ واحد درصد و برای Llama بین ۱٫۳ تا ۱٫۸ واحد درصد بود. در GVM، امتیاز Qwen از ۴۲٫۷٪ به ۴۵٫۵٪ و امتیاز Llama از ۱۲٫۳٪ به ۱۴٫۱٪ رسید. FADE در تمام مقایسه‌های تک‌محکی برنده نبود.
در بازپخش جداگانه‌ای از مسیر آموزش GRPO، خطای پیش‌بینی FADE نسبت به برآوردهای مرجع هشت‌پاسخی برای Qwen برابر ۰٫۱۱۸ و برای Llama برابر ۰٫۱۰۲ بود؛ در مقابل، CDAS به‌ترتیب ۰٫۱۵۳ و ۰٫۱۳۸ ثبت کرد. همبستگی رتبه‌ای اسپیرمن نیز به‌ترتیب از ۰٫۶۹ به ۰٫۸۲ و از ۰٫۶۷ به ۰٫۷۹ افزایش یافت. سربار برآورد گزارش‌شده ۰٫۰۶ ساعت بود، در برابر ۴۲٫۸ و ۴۵٫۱ ساعت برای آزمون‌گیری مستقیم با سیاست جاری؛ بااین‌حال، این آزمون‌گیری خطای پیش‌بینی و همبستگی رتبه‌ای بهتری داشت.
شواهد، عدم‌قطعیت‌های مهمی باقی می‌گذارند. تعداد اجراهای مستقل آموزش، تغییرپذیری بین اجراها و فاصله‌های اطمینان در نتایج ارائه‌شده مشخص نیست. کوچک بودن مجموعه‌های مسابقه‌ای، بهبودهای منفرد را نامطمئن می‌کند. ادعای برابری بودجه نیز نیازمند روشن‌سازی است: ۴۵۰ گام × ۲۵۶ پرسش × هشت پاسخ برابر با ۹۲۱٬۶۰۰ پاسخ است، نه ۱٫۴۴ میلیون اعلام‌شده. ارزیابی پیگیری از نرخ‌های مرجع پرنویز روی ۲٬۰۴۸ پرسش کنارگذاشته‌شده از مجموعه آموزشی استفاده کرده و بررسی هم‌پوشانی یا جداسازی داده‌های تنظیم توصیف نشده است. بازنمایی‌های ثابت ممکن است بعضی مهارت‌ها را ضعیف بازتاب دهند و پاداش‌های همبسته به گسترش مدل نیاز دارند. این نتایج از FADE در پیکربندی‌های آزموده‌شده پشتیبانی می‌کنند؛ برتری همگانی آن را ثابت نمی‌کنند و نشان نمی‌دهند که کالیبراسیون بهتر علت افزایش دقت بوده است.
منبع: https://arxiv.org/abs/2611.03625
تصویر جلد با هوش مصنوعی تولید شده و تصویرسازی مفهومی است؛ مدرک پژوهش نیست.