بر اساس آزمایشی کنترل‌شده از زیچی پانگ و یو-شیونگ وانگ در دانشگاه ایلینوی اربانا-شمپین، موفقیت در انواع آشنای مسئله ممکن است شکنندگی راهبرد استدلال را پنهان کند. مدل زبانی آن‌ها آموخت که توابع مصنوعی رشته‌ای را از خروجی به ورودی تحلیل کند، اما با دشوارتر شدن مسائل، اغلب به حدس‌زدن ناکارآمد روی آورد. افزودن نوع دیگری از مسئله به آموزش، به حفظ استدلال ساختاریافته کمک کرد.
این پژوهش در ۲ نوامبر ۲۰۲۶ در arXiv منتشر شد. مقاله پیش‌چاپ است؛ داوری علمی آن تأیید نشده و تکرار مستقل نتایج نیز ارائه نشده است.
پژوهشگران مدل Qwen2.5-7B-Instruct را با یادگیری تقویتی با پاداش‌های قابل‌راستی‌آزمایی، یا RLVR، و با استفاده از GRPO و پالایش به سبک DAPO آموزش دادند. هر پرسش، کد یک تابع و یک رشته خروجی را ارائه می‌کرد و از مدل می‌خواست رشته‌های رقمی ورودی را پیدا کند که آن خروجی را تولید می‌کنند. یک پیاده‌سازی مرجع پاسخ‌ها را بررسی می‌کرد. مجموعه اصلی شامل ۲۴ تابع چندبه‌یک بود: ۱۸ تابع برای آموزش و شش تابع کنارگذاشته‌شده برای ارزیابی. آموزش شامل ۵۰٬۰۰۰ مسئله بود و هر وضعیت ارزیابی ۱٬۰۲۴ مسئله داشت.
ارزیابی پایه نیز از توابع دیده‌نشده استفاده می‌کرد، اما از نظر طول خروجی ۴ تا ۶ و درخواست دو پاسخ، با شرایط آموزش مطابقت داشت. آزمون‌های دشوارتر، ۳ تا ۶ پاسخ می‌خواستند، طول خروجی را به ۶ تا ۱۰ افزایش می‌دادند، این دو تغییر را ترکیب می‌کردند یا توابعی با طول متفاوت ورودی و خروجی معرفی می‌کردند. معیار دقت گزارش‌شده برای پاسخ‌های درست و متمایز امتیاز جزئی می‌داد و ارسال پاسخ‌های اضافی را جریمه می‌کرد؛ بنابراین درصد مسائل کاملاً حل‌شده نبود.
مدلی که فقط با وارون‌سازی توابع چندبه‌یک آموزش دید و Mono نام گرفت، به دقت پایه حدود ۹۰٪ رسید. در ۸۵٪ ردپاهای استدلالی پایه آن، استنتاج ساختاریافته تشخیص داده شد؛ اما این سهم در سه وضعیت دشوارتر خارج از توزیع به زیر ۵۰٪ افت کرد. وقتی فقط تعداد پاسخ‌های درخواستی افزایش یافت، دقت بالای ۸۰٪ باقی ماند؛ اما در توابع تغییردهنده طول به ۶٪ رسید. نویسندگان گزارش می‌کنند که بسیاری از شکست‌ها شامل ادامه آزمودن فراگیر گزینه‌ها تا رسیدن به سقف توکن بود.
مدل دوم، Mixed، با ترکیبی به نسبت ۱:۱ از مسائل اصلی و مسائل وارون‌سازی توابع دوسویی، که پاسخ یکتا دارند، آموزش دید. عملکرد پایه آن مشابه بود، اما در آزمون‌های دشوارتر دقت بسیار بهتری داشت و میزان استفاده از استنتاج را نسبت به Mono تقریباً دو برابر کرد. مقادیر دقیق دقت Mixed در متن ارائه‌شده موجود نیست. مسائل کمکی همواره دشوارتر نبودند و فقط یک پاسخ می‌خواستند؛ این موضوع نشان می‌دهد دشواری یا شباهت مسائل به‌تنهایی مزیت مشاهده‌شده را توضیح نمی‌دهد.
نویسندگان پیشنهاد می‌کنند که استنتاج، گروه‌هایی از پاسخ‌های ممکن را کارآمدتر از آزمودن تک‌تک گزینه‌ها حذف می‌کند. چارچوب نظری آن‌ها این موضوع را با اطلاعات کسب‌شده به‌ازای هر توکن توصیف می‌کند و توضیح می‌دهد که پاداش پاسخ نهایی چگونه ممکن است به‌طور غیرمستقیم مراحل استدلالی مفید را تقویت کند. کاهش سقف پاسخ از ۸٬۰۰۰ به ۵٬۰۰۰ توکن و افزودن محدودیت‌های رقمی نیز استفاده از استنتاج را افزایش داد. این نتایج در محدوده همین مجموعه مسائل از این توضیح پشتیبانی می‌کنند، اما سازوکاری عمومی را اثبات نمی‌کنند.
استنتاج بیشتر همیشه به پاسخ بهتر منجر نشد. افزایش نسبت مسائل دوسویی به مسائل چندبه‌یک به ۳:۱، استفاده از استنتاج را افزایش داد، اما ترکیب ۱:۱ دقیق‌تر بود. بررسی ردپاها خطاهای اجرایی را حتی هنگام انتخاب راهبرد موردنظر آشکار کرد؛ یافته‌ای که نیاز مستمر به مهارت‌های ویژه هر مسئله را نشان می‌دهد.
این یافته‌ها محدودیت‌های مهمی دارند. شواهد اصلی به یک مدل ۷ میلیاردپارامتری و توابع مصنوعی مربوط است؛ آزمایش‌های اکتشافی ریاضی و عامل‌های هوشمند، انتقال گسترده به استدلال کاربردی را اثبات نمی‌کنند. مسائل ارزیابی در خانواده‌های مشترک توابع قرار دارند؛ بنابراین ۱٬۰۲۴ مسئله معادل ۱٬۰۲۴ آزمون مستقل تعمیم میان توابع نیست. برچسب‌های راهبرد را Gemini-3.0-Flash تعیین کرد: فقط آزمودن فراگیرِ محض، شمارش گزینه‌ها محسوب شد و همه ردپاهای دیگر استنتاج نام گرفتند. جزئیات ارجاع‌شده درباره اعتبارسنجی این داور در متن ارائه‌شده موجود نیست.
نویسندگان از اجراهای تکراری و کنترل تنوع و دشواری مسائل خبر می‌دهند، اما نتایج تفصیلی، تعداد اجراها و برآوردهای عدم‌قطعیت در دسترس نیست؛ ازاین‌رو معناداری آماری تفاوت‌های اصلی دقت قابل‌ارزیابی نیست. تغییر برچسب ردپاها ثابت نمی‌کند که تغییر راهبرد به‌تنهایی باعث بهبود شده است و عملکرد قوی پایه نیز محدودیت ظرفیت در مسائل دشوارتر را رد نمی‌کند. نظریه همچنین پاداش نهایی دودویی و تقریب گروه بزرگ را فرض می‌کند، درحالی‌که آزمایش‌ها امتیاز جزئی می‌دهند. این مطالعه هشداری مبتنی بر آزمایش کنترل‌شده ارائه می‌کند: یادگیری یک راهبرد مؤثر تضمین نمی‌کند که مدل هنگام تغییر مسئله همچنان از آن استفاده کند.