
همراستاسازی تا چه اندازه میتواند امتیاز پاداش یک مدل زبانی را افزایش دهد، در حالی که فاصله آن از مدل پایه محدود بماند؟ صفحهای از Apple ML Research به تاریخ ۱۲ نوامبر ۲۰۲۶، پاسخی نظری را شرح میدهد و گزارش میکند که روشهای رایج یادگیری تقویتی در دو دسته وظیفه هنوز جای بهبود دارند.
این پژوهش، نوشته لوکاس مونتیرو پائس، ناتالی مکراز، بریجان تئوبالد و فدریکو دانیلی، افزایش پاداش مورد انتظار را تحت بودجهای ثابت برای واگرایی کولبک–لایبلر (KL) بررسی میکند. واگرایی KL میزان فاصله گرفتن توزیع خروجی مدل همراستاشده از توزیع مدل پایه را میسنجد. مرز حاصل میان KL و پاداش، بالاترین پاداش مورد انتظارِ قابل دستیابی را برای بودجه مشخصی از واگرایی توصیف میکند؛ این مرز بهخودیخود ایمنی در دنیای واقعی یا حفظ تواناییهای مدل را اثبات نمیکند.
نویسندگان از دستیابی به عبارتی با فرم بسته برای افزایش بهینه پاداش خبر میدهند که عامل تعیینکننده آن جملهای مبتنی بر واگرایی جفریز است و جای جمله جذر KL در تحلیلهای پیشین را میگیرد. آنها همچنین نتیجه را بهصورت یک کوواریانس تحت توزیع مدل پایه بیان میکنند. این بازنویسی به پیشنهاد برآوردگری منجر میشود که تنها با نمونههای مدل پایه، افزایش پاداش قابل دستیابی از طریق همراستاسازی را پیشبینی میکند.
تحلیلی جداگانه به پاداشهای جانشین میپردازد: امتیازهایی که بهجای هدف مورد نظر استفاده میشوند. به گفته نویسندگان، شکاف میان همراستاسازی ایدئال و همراستاسازی مبتنی بر پاداش جانشین، با افزایش خطاهای پاداش و کاهش ضریب جریمه KL بیشتر میشود. این شکاف به پدیده سوءاستفاده از پاداش مربوط است؛ وضعیتی که بهینهسازی امتیاز از هدف مورد نظر فاصله میگیرد. آنها همچنین از اثبات این نتیجه خبر میدهند که ترکیب مدلهای پاداش، در چارچوب بررسیشده، این پدیده را کاهش میدهد. خلاصه ارائهشده فرضهای لازم برای این تضمین را مشخص نمیکند.
پژوهشگران در ارزیابی تجربی خود، نمونهگیری «بهترین از میان N»، روش PPO و روش GRPO را در وظایف ایمنی مدل زبانی و خلاصهسازی با مرز نظری مقایسه میکنند. روش بهترین از میان N، تعداد N پاسخ مستقل تولید میکند و پاسخ دارای بالاترین امتیاز را برمیگزیند. نویسندگان گزارش میکنند که این روش به مرز نزدیک میشود، در حالی که PPO و GRPO بهطور محسوسی پایینتر از آن میمانند. تولید چندین پاسخ هزینه استنتاج دارد، اما خلاصه هیچ مقایسه کمی از هزینهها ارائه نمیدهد.
ارزیابی مستقل این یافتهها بر اساس خلاصه صفحه پژوهشی ارائهشده دشوار است. این متن هویت مدلها، نام یا اندازه مجموعهدادهها، تعریف پاداشها، جزئیات تنظیم، تقسیمبندی دادههای ارزیابی، مقادیر N، اختلافهای عددی عملکرد یا برآوردهای عدم قطعیت را ارائه نمیکند. بدون این جزئیات نمیتوان منصفانه بودن مقایسه، احتمال نشت دادههای آزمون و عدم قطعیت آماری را ارزیابی کرد. نتایج دو دسته وظیفه نیز برتری همیشگی یک الگوریتم را اثبات نمیکند و نشان نمیدهد که پاداش بالاتر به ایمنی و قابلیت اتکای مطلوب انسان منجر میشود.
این صفحه اثر را مقالهای در NeurIPS با تاریخ انتشار نوامبر ۲۰۲۶ معرفی میکند. جزئیات پذیرش و مستندات داوری ارائه نشدهاند؛ بنابراین وضعیت داوری علمی با اطلاعات موجود بهطور مستقل احراز نمیشود. متن کامل مقاله، معادلات و اثباتها نیز در اینجا در دسترس نیستند؛ یافتهها گزارش نویسندگاناند و هیچ تکرار مستقلی از نتایج ارائه نشده است.
تصویر جلد با هوش مصنوعی تولید شده و تصویرسازی مفهومی است؛ مدرک پژوهش نیست.