یک سامانه هوش مصنوعی می‌تواند بدون تغییر مدل‌های زیربنایی خود، شیوه برخورد با مسئله را تغییر دهد. Strategist، سامانه‌ای که پژوهشگران وابسته به دانشگاه پرینستون و متا معرفی کرده‌اند، به دنبال برنامه‌های قابل استفاده مجدد برای سازمان‌دهی فراخوانی مدل‌ها می‌گردد. در ارزیابی نویسندگان روی ۳۰ محک، میانگین دقت آزمون آن ۷۴٫۷ درصد بود، در برابر ۷۴٫۰ درصد برای روش مبنای منتخب؛ هم‌زمان، معیار هزینه توکنِ وزن‌دهی‌شده بر اساس اندازه مدل ۳۹ درصد کاهش یافت.
این پژوهش، نوشته تایمینگ لو، چی شو، ژیگانگ هوا و ژوانگ لیو، در ۲ نوامبر ۲۰۲۶ در arXiv منتشر شد. مقاله پیش‌چاپ است؛ داوری علمی آن تأیید نشده و تکرار مستقل نتایج نیز ارائه نشده است.
Strategist فرایند پیرامون مدل را هدف می‌گیرد: چگونگی تقسیم مسئله، تولید پاسخ‌های جایگزین، بررسی پاسخ‌ها و به‌کارگیری مدل‌های قوی‌تر یا ارزان‌تر. یک فراعامل GPT-6 با پارامترهای ثابت، برنامه‌هایی به زبان پایتون می‌نویسد که «طرح» نام دارند، رابط مشترکی دارند و می‌توانند طرح‌های قبلی را فراخوانی کنند. دستورهای ویژه هر تکلیف، این ساختارهای قابل استفاده مجدد را به راهبردهای اجرایی تبدیل می‌کنند. مدل‌های زیربنایی در تمام این فرایند ثابت می‌مانند.
سامانه برای هر تکلیف جست‌وجو، طی ۱۰ دور و در هر دور پنج راهبرد نامزد پیشنهاد می‌کند، آن‌ها را می‌آزماید و ساختارهای قابل استفاده مجدد، اندازه‌گیری‌ها و یادداشت‌های تجربی را ثبت می‌کند. اجرا با مدل‌های Qwen3 دارای ۰٫۶ میلیارد، ۱٫۷ میلیارد و ۴ میلیارد پارامتر انجام می‌شود که هرکدام با حالت تفکر روشن یا خاموش به کار می‌روند. کتابخانه در نهایت شامل ۱٬۸۶۵ طرح شد.
ارزیابی، ۴۰ محک در حوزه‌های ریاضیات، عقل سلیم، دانش، پرسش‌وپاسخ چندمرحله‌ای، منطق، برنامه‌نویسی و توصیه‌گری را پوشش داد. از ۳۰ محک برای جست‌وجوی تکرارشونده استفاده شد و ۱۰ محک برای انتقال مبتنی بر بازیابی کنار گذاشته شدند. مقایسه‌ها شامل ۱۸ روش مبنا در شش پیکربندی مدل بود. روش مبنای مرجع، با نام BL، ترکیب روش و پیکربندی‌ای بود که در بخش آموزش هر محک بالاترین امتیاز را داشت و سپس روی پرسش‌های آزمون ارزیابی می‌شد.
۲۴ پیروزی گزارش‌شده از ۳۰ محک، پیروزی هم‌زمان بر اساس دقت و هزینه بود، نه ۲۴ پیروزی در دقت. پیروزی مستلزم بهبودی بیش از دو واحد درصد در دقت یا ۲ درصد در هزینه بود، بدون آنکه افت معیار دیگر از آستانه متناظر فراتر برود. Strategist در دو محک مساوی شد، در دو محک دقت را در ازای کاهش هزینه از دست داد و در دو محک شکست خورد. در MedQA و AIME 2024، دقت حدود ۴ تا ۵ واحد درصد کاهش یافت و هزینه به‌ترتیب به ۰٫۴۴ و ۰٫۷۷ برابر BL رسید.
صرفه‌جویی ۳۹ درصدی، میانگین نسبت هزینه‌ها در محک‌های جداگانه است. این معیار، توکن‌های ورودی و خروجی را با نسبت اندازه مدل‌ها وزن‌دهی می‌کند و اندازه‌گیری مستقیم تأخیر، انرژی یا مخارج دلاری نیست. هزینه جست‌وجوی راهبردها را نیز در بر نمی‌گیرد؛ بنابراین صرفه‌جویی کل و میزان استفاده لازم برای جبران هزینه جست‌وجو نامعلوم است.
در ۱۰ تکلیف کنارگذاشته‌شده، Strategist با دستورهای ویژه هر تکلیف و حداکثر ۳۰۰ پرسش توسعه، از میان پنج طرح بازیابی‌شده انتخاب کرد، بدون آنکه جست‌وجوی تکرارشونده دیگری انجام دهد. میانگین دقت به ۸۱٫۴ درصد رسید، در برابر ۷۷٫۸ درصد برای BL. دقت در هشت تکلیف بالاتر بود، اما فقط شش مورد پیروزی هم‌زمان محسوب شدند؛ برخی راهبردها هزینه را به‌طور چشمگیری افزایش دادند. راهبردهای بدون تغییر همچنین با GPT-5 در هفت محک از ۱۰ محک آزمایش‌شده و با Gemini-2.5 در هشت محک پیروز شدند؛ کاهش گزارش‌شده مجموع مخارج استنتاج نیز به‌ترتیب ۳۵ و ۴۰ درصد بود. بخشی از برتری در GPT-5 ناشی از آن بود که گردش‌کارهای مبنا پاسخ‌هایی با قالب نامعتبر تولید می‌کردند.
مقایسه جداگانه‌ای روی ۱۰ محک، میانگین دقت ۷۸٫۷ درصد را برای سامانه کامل و ۶۵٫۴ درصد را بدون کتابخانه نشان داد؛ نتیجه‌ای که از نقش کتابخانه در همین پیاده‌سازی پشتیبانی می‌کند. بااین‌حال، تفاوت در شیوه انتخاب، نسبت‌دادن نتایج به اجزای سامانه را محدود می‌کند: Strategist برای انتخاب راهبرد از بخش‌های اعتبارسنجی و پنهان استفاده کرد، اما BL بر اساس دقت آموزش انتخاب شد. برتری میانگین راهبردهای منتخب در داده‌های پنهان ۴٫۳ واحد درصد بود، ولی در داده‌های آزمون جداگانه فقط ۰٫۷ واحد درصد شد؛ نشانه‌ای از خوش‌بینی ناشی از انتخاب.
شواهد ارائه‌شده، فاصله اطمینان، تغییرپذیری میان اجراهای تکراری یا معناداری آماری را گزارش نمی‌کنند. استقلال محک‌ها، آلودگی ناشی از حضور داده‌های محک در پیش‌آموزش و حساسیت به ترتیب تکلیف‌ها نیز روشن نشده‌اند. نتایج از بررسی بیشتر طراحی راهبردهای قابل استفاده مجدد پشتیبانی می‌کنند، اما قابلیت اتکای عمومی یا عملکرد در کاربردهای واقعی را اثبات نمی‌کنند.
منبع: Strategist: Evolving Reasoning with Agents، شناسه arXiv:2611.03618v1، https://arxiv.org/html/2611.03618v1
تصویر جلد با هوش مصنوعی تولید شده و تصویرسازی مفهومی است؛ مدرک پژوهش نیست.