بر اساس گزارش گروهی از پژوهشگران وابسته به سیناپسیس، بازپیاده‌سازی مستقل نسخه عملی بهینه‌سازی مستقیم نش، یا DNO-Prct، امتیاز دو مدل زبانی را در آزمون پیروی از دستور افزایش داده است. این پیش‌چاپ در ۳ نوامبر ۲۰۲۶ در arXiv منتشر شد و داوری علمی آن تأیید نشده است. آزمایش‌های آن بین ژوئیه و دسامبر ۲۰۲۴ انجام شده‌اند.
DNO یادگیری ترجیحات را به‌صورت یک بازی دونفره در نظر می‌گیرد و به دنبال راهبردی است که در برابر راهبردهای رقیب عملکرد مناسبی داشته باشد. نسخه عملی آن بارها از مدلی که در حال به‌روزرسانی است، نمونه‌های آموزشی تازه تولید می‌کند. پژوهشگران با استفاده از ۶۳٬۹۶۷ پرسش مجموعه UltraFeedback، مدل‌های Llama 3.1 8B Instruct و Mistral 7B Instruct v0.1 را طی سه دور آموزش دادند. در هر دور، پاسخ‌های مدل شاگرد با یک پاسخ معلم ترکیب شدند؛ سپس امتیازدهی کیفیت به‌وسیله مدل، انتخاب جفت‌های ترجیحی با اختلاف امتیاز کافی، استفاده مجدد از بخشی از جفت‌های پیشین و به‌روزرسانی به شیوه بهینه‌سازی مستقیم ترجیحات انجام شد.
ارزیابی با ۸۰۵ پرسش AlpacaEval 2.0 انجام شد و GPT-4o پاسخ‌ها را در برابر پاسخ‌های مرجع GPT-4o و GPT-4-0613 داوری کرد. در برابر GPT-4o، نرخ برد تعدیل‌شده بر اساس طول پاسخ برای لاما از ۳۱٫۷۱٪ به ۴۵٫۳۲٪ رسید؛ یعنی ۱۳٫۶۱ واحد درصد افزایش. این نرخ برای میسترال از ۶٫۷۷٪ به ۱۸٫۴۴٪ رسید و ۱۱٫۶۷ واحد درصد افزایش یافت. تعدیل طول، اثر طول پاسخ را به‌صورت آماری تنظیم می‌کند؛ کیفیت پاسخ را به‌طور مستقل تأیید نمی‌کند.
مدل تنظیم‌شده لامای ۸ میلیارد پارامتری در هر چهار نرخ برد گزارش‌شده، امتیازی بالاتر از Llama 3.1 70B Instruct گرفت. نرخ برد تعدیل‌شده آن‌ها در برابر GPT-4o به‌ترتیب ۴۵٫۳۲٪ و ۴۱٫۴۰٪ بود. این مقایسه به پروتکل آزمون همین مطالعه محدود است: هر دو مدل در برابر حریفان مشترک ارزیابی شدند و مستقیماً با یکدیگر رقابت نکردند. سفارشی بودن داور، پاسخ‌های مرجع و تنظیمات تولید پاسخ نیز مقایسه مستقیم با امتیازهای جدول رتبه‌بندی عمومی را ناممکن می‌کند.
جایگزینی GPT-4o در نقش امتیازدهنده با مدل‌های بزرگ‌ترِ دارای وزن‌های باز از همان خانواده، ۶۲٪ از بهبود لاما و ۸۲٪ از بهبود میسترال را در نرخ برد تعدیل‌شده در برابر GPT-4o حفظ کرد. این نتیجه از امکان استفاده از مدل امتیازدهنده با وزن‌های باز پشتیبانی می‌کند، اما نشان نمی‌دهد که کل فرایند از مدل‌های انحصاری بی‌نیاز بوده است؛ بخش‌های ارائه‌شده از منبع مشخص نمی‌کنند که کدام مدل پاسخ‌های معلم را در آن اجراها تولید کرده است. آزمایش‌های جداگانه حذف مؤلفه‌ها، با حذف پاسخ‌های معلم یا استفاده مجدد از جفت‌های پیشین، یا محدود کردن انتخاب به جفت‌هایی که پاسخ معلم در آن‌ها ترجیح داشت، افتی حدود ۶ تا ۱۰ واحد درصد در امتیاز تعدیل‌شده نشان دادند. تفاوت پیکربندی‌های آزمایشی، مقایسه میان این آزمون‌ها را محدود می‌کند.
چند عدم‌قطعیت، تفسیر یافته‌ها را محدود می‌کند. هر پیکربندی آموزشی فقط یک بار اجرا شد؛ بنابراین تغییرپذیری ناشی از تکرار آموزش مشخص نیست. مقایسه مدل‌ها روی پرسش‌های ارزیابی مشترک نیز فاقد تحلیل زوجی عدم‌قطعیت بود. GPT-4o در اجراهای اصلی هم پاسخ‌های معلم و امتیازها را فراهم کرد و هم داور ارزیابی و یکی از حریفان بود؛ این هم‌پوشانی زمینه سوگیری ترجیحی ناشی از استفاده از یک مدل مشترک را ایجاد می‌کند. میانگین طول پاسخ‌های لاما از ۲٬۲۳۷ به ۳٬۷۸۶ نویسه افزایش یافت؛ تعدیل طول ممکن است اثر پاسخ‌های طولانی‌تر را کاملاً برطرف نکند.
روش‌های مبنای مقایسه از منابع پاسخ و برنامه‌های آموزشی متفاوت استفاده کردند و آزمایش کنترل آموزش نظارت‌شده با همان معلم وجود نداشت. بنابراین مطالعه نمی‌تواند روش بهینه‌سازی DNO را به‌تنهایی علت این پیشرفت‌ها بداند. نتایج از بهبود در همین آزمون و شرایط بررسی‌شده پشتیبانی می‌کنند، اما هم‌سویی گسترده‌تر با ترجیحات انسانی یا همگرایی به تعادل نش نظری را اثبات نمی‌کنند.
تصویر جلد با هوش مصنوعی تولید شده و تصویرسازی مفهومی است؛ مدرک پژوهش نیست.