در مقایسه‌ای میان Muon و AdamW، خطای کمتر در پیش‌آموزش به‌طور قابل اتکا نشان نمی‌داد کدام مدل زبانی بهتر با وظایف جدید سازگار می‌شود. پژوهشگران دانشگاه کارنگی ملون گزارش می‌دهند که Muon با حجم کم داده پیش‌آموزش، موازنه بهتری میان یادگیری وظایف جدید و حفظ عملکرد قبلی داشت، اما با افزایش داده، AdamW از آن پیش افتاد. پیش‌چاپ آن‌ها در ۲ نوامبر ۲۰۲۶ در arXiv منتشر شد؛ داوری همتای آن تأیید نشده و هیچ بازآزمایی مستقلی ارائه نشده است.
این گروه مدل‌هایی به سبک OLMo با ۳۰ میلیون تا ۶۰۰ میلیون پارامتر را مقایسه کرد که با ۱۵۰ میلیون تا ۱۵۴ میلیارد توکن از DCLM پیش‌آموزش دیده بودند. نزدیک به ۶۰۰ اجرای پیش‌آموزش و ۲۹٬۰۰۰ اجرای تنظیم دقیق، مجموعه‌داده‌های GSM8K، StackMathQA، Alpaca و MusicPile را پوشش می‌داد. بهینه‌سازها چگونگی تغییر پارامترهای مدل در طول آموزش را تعیین می‌کنند: AdamW به‌روزرسانی‌ها را برای هر مؤلفه جداگانه تطبیق می‌دهد، درحالی‌که Muon به‌روزرسانی‌های ماتریسی را متعامد می‌کند.
ارزیابی، خطای وظیفه جدید روی داده‌های کنارگذاشته‌شده را همراه با خطای DCLM روی داده‌های کنارگذاشته‌شده پس از تنظیم دقیق اندازه گرفت؛ معیار دوم برای سنجش حفظ عملکرد پیش‌آموزش به کار رفت. بررسی طیفی از پیکربندی‌های آموزش، مرزهای پارتو را ایجاد کرد: بهترین ترکیب‌های مشاهده‌شده از این دو خطا. پژوهشگران هم نقاط ذخیره‌شده مدل با کمترین خطای پیش‌آموزش و هم بهترین مرزهای حاصل از پیکربندی‌های بررسی‌شده پیش‌آموزش و تنظیم دقیق را مقایسه کردند.
برای مدل‌های ۶۰ میلیون پارامتری که روی StackMathQA تنظیم دقیق شدند، Muon با ۲٫۴ میلیارد توکن پیش‌آموزش برتری داشت، اما حجم‌های بیشترِ آزموده‌شده به سود AdamW بودند. وقتی پیکربندی‌ها با هدف کمینه‌کردن خطای پیش‌آموزش انتخاب می‌شدند، Muon همچنان خطای پیش‌آموزش کمتری داشت. نویسندگان این وارونگی را با هر دو روش انتخاب و در مجموعه‌داده‌های دیگر نیز گزارش می‌کنند. در StackMathQA، آستانه پیش‌افتادن AdamW از ۳۲۰ توکن به‌ازای هر پارامتر در مدل‌های ۳۰ میلیون پارامتری به ۱۰ در مدل‌های ۶۰۰ میلیون پارامتری کاهش یافت. این اعداد نسبت هستند، نه تعداد مطلق توکن‌ها، و آستانه به مجموعه‌داده وظیفه جدید وابسته بود.
نویسندگان برای بررسی این تغییر، «نسبت حاشیه به پراکندگی» را معرفی کردند: امتیاز خام خروجی پاسخ درست، یا لاجیت، منهای میانگین امتیازهای نادرست، تقسیم بر انحراف معیار امتیازهای نادرست. نسبت بزرگ‌تر نشان‌دهنده جدایی بیشتر نسبت به این پراکندگی است. میانه این نسبت در توکن‌هایی از داده‌های کنارگذاشته‌شده DCLM که درست پیش‌بینی شده بودند، با داده کم به سود Muon و با داده زیاد به سود AdamW بود. این تحلیل مشروط به پیش‌بینی‌های موفق است و نقطه تغییر آن لزوماً با نقطه تغییر برتری در تنظیم دقیق یکسان نبود.
تحلیل ریاضی جداگانه‌ای از واقعیت‌های مصنوعی به‌شکل جفت‌های کلید–مقدار گاوسی در یک حافظه تداعی‌گر خطی استفاده کرد. پس از یک به‌روزرسانی از مقداردهی اولیه صفر، در حجم‌های به‌اندازه کافی بزرگ داده، نسبت حاشیه به پراکندگی برای گرادیان‌کاهشی با دسته کامل از Muon با متعامدسازی دقیق بزرگ‌تر بود. شبیه‌سازی‌های آموزش طولانی‌تر با سه بذر تصادفی نیز وارونگی متناظری در مقاومت به اختلال خروجی نشان دادند. این یافته‌ها از توضیحی پیشنهادی پشتیبانی می‌کنند؛ سازوکار علّی را در مدل‌های زبانی احراز نمی‌کنند و مستقیماً نیز نتیجه را برای AdamW اثبات نمی‌کنند.
شواهد محدودیت‌های عملی دارند. اندازه‌گیری خطا مستقیماً دقت انجام وظیفه، صحت اطلاعات یا حفظ دانش مشخصی را ثابت نمی‌کند. مرزها تنها تقریبی از پیکربندی‌های بررسی‌شده هستند. پوشش تنظیم دقیق نامتقارن بود: مدل‌های پیش‌آموزش‌دیده با AdamW با همان AdamW تنظیم دقیق شدند، اما مدل‌های پیش‌آموزش‌دیده با Muon از هر دو بهینه‌ساز استفاده کردند. مقایسه پیوستی که برای توجیه این انتخاب به آن استناد شده، در متن ارائه‌شده در دسترس نیست؛ این متن پیش از پیوست‌های تفصیلی روش‌ها و نتایج پایان می‌یابد.
هیچ فاصله اطمینان یا تعدادی برای بذرهای تصادفی مدل‌های زبانی ارائه نشده است. اجراهای تنظیم دقیقی که یک نقطه ذخیره‌شده پیش‌آموزش مشترک دارند، به یکدیگر وابسته‌اند؛ بنابراین تعداد اجراها معادل تعداد بازآزمایی‌های مستقل نیست. ارزیابی روی داده‌های کنارگذاشته‌شده گزارش شده، اما وجود مجموعه آزمون نهایی جداگانه‌ای که در انتخاب پیکربندی دخیل نبوده باشد، احراز نشده است. یافته‌ها از ارزیابی سازگاری‌پذیری در کنار خطای پیش‌آموزش در شرایط آزموده‌شده پشتیبانی می‌کنند؛ برتری یک بهینه‌ساز را برای مدل‌های بزرگ‌تر در مقیاس تولید، معماری‌های دیگر یا روش‌های دیگر سازگارکردن مدل ثابت نمی‌کنند.