پژوهشگران دانشگاه واشینگتن و انویدیا گزارش می‌دهند که جداکردن توصیف آنچه ربات انجام داده از داوری درباره میزان اجرای دستور، می‌تواند پاداش‌های تولیدشده با هوش مصنوعی برای یادگیری ربات را بهبود دهد. روش آن‌ها با نام Describe & Assess یا D&A، از مدل‌های موجود بینایی‌ـ‌زبان استفاده می‌کند، بدون آنکه مدل پاداش به آموزش ویژه رباتیک نیاز داشته باشد. این پژوهش در ۲ نوامبر ۲۰۲۶ در arXiv منتشر شد؛ داوری همتای آن تأیید نشده است.
مدل‌های پاداش سیگنال‌هایی فراهم می‌کنند که به ربات کمک می‌کند بیاموزد کدام اقدامات کار را پیش می‌برند. نویسندگان مشاهده کردند که درخواست مستقیم ارزیابی ویدئو از مدل می‌تواند برای اجراهای ناموفق نیز پیشرفت در نظر بگیرد یا ارزیابی را به داوری دوحالتی درباره موفقیت تقلیل دهد. آن‌ها این رفتار را سوگیری تأییدی می‌نامند، هرچند آزمایش‌های مهندسی آن‌ها علت روان‌شناختی این خطاها را اثبات نمی‌کند.
D&A ابتدا با استفاده از ویدئو و دستور کار، موجودیت‌های صحنه را استخراج می‌کند. سپس مرحله‌ای جداگانه، اقدامات مشاهده‌شده را بدون دریافت مستقیم دستور توصیف می‌کند؛ البته فهرست موجودیت‌ها اطلاعاتی را منتقل می‌کند که با استفاده از دستور انتخاب شده‌اند. ارزیاب، توصیف و دستور را دریافت می‌کند، شرایط قابل‌مشاهده موفقیت را تعریف می‌کند و پیشرفت را بر اساس آن شرایط از ۰ تا ۱ امتیاز می‌دهد. امتیاز فریم‌های نمونه‌برداری‌شده در سراسر مسیر اجرا درون‌یابی می‌شود. به این ترتیب، ارزیابی به هدفی مشخص متکی می‌شود، به‌جای آنکه فرض کند فریم‌های بعدی لزوماً پیشرفت بیشتری نشان می‌دهند.
در مجموعه D&A-Bench که نویسندگان ساخته‌اند، نسخه مبتنی بر Gemini 3 Flash در رتبه‌بندی مسیرهای اجرا بر اساس امتیاز نهایی، همبستگی کندال τₐ برابر با ۰٫۶۷ به دست آورد. امتیازهای گزارش‌شده برای Robometer برابر با ۰٫۵۶، برای RoboReward برابر با ۰٫۴۳، برای GVL برابر با ۰٫۲۷ و برای TOPReward برابر با ۰٫۲۴ بود. D&A به میزان ۰٫۲۳ واحد همبستگی از درخواست مستقیم بهتر عمل کرد. این اعداد میزان توافق با ترتیب مسیرهای اجرا را می‌سنجند، نه درصد کارهای تکمیل‌شده را. پژوهش همچنین معیارهای خارجی RBM-EVAL-OOD و RoboRewardBenchmark را به‌ترتیب با همبستگی رتبه‌بندی و میانگین خطای مطلق ارزیابی کرد.
آزمایش‌های عملی سه کار با ربات فیزیکی را دربر گرفت. در یادگیری برخطِ قراردادن میوه در کاسه، نویسندگان گزارش می‌دهند که موفقیت از ۱۰٪ برای سیاست اولیه به ۱۰۰٪ با D&A پس از حدود ۹۰ دقیقه رسید. TOPReward به ۵٪ رسید که با نتیجه D&A اختلافی برابر با ۹۵ واحد درصد دارد. تعداد اجراهای ارزیابی و برآوردهای عدم‌قطعیت برای این نتایج ارائه نشده است.
آزمایش‌های برون‌خط از ۱۵۰ اجرای نمایشی برای انتقال کتاب از قفسه به جعبه استفاده کردند: ۵۰ اجرای بهینه، ۵۰ اجرای غیربهینه و ۵۰ اجرای ناموفق. روش مبنا در ۲۰٪ موارد موفق بود. مقاله بهبود D&A را «+۸۰٪» توصیف می‌کند، بدون آنکه به‌روشنی مشخص کند منظور درصد نسبی است یا واحد درصد. در کار دوم با کتاب، اجراهای موفق D&A به ۱۸٫۸ ± ۱٫۸ ثانیه زمان نیاز داشتند، در برابر ۲۸٫۵ ± ۹٫۲ ثانیه برای روش مبنا. معنای ± و تعداد اجراهای موفق مشخص نشده است؛ مقایسه زمان، شکست‌ها را دربر نمی‌گیرد.
آزمایش اجزای روش نشان می‌دهد که جداسازی به‌تنهایی کافی نیست. جدول I، ارزیابی روی RBM-EVAL-OOD با استفاده از Gemini 3.7 Flash را ارائه می‌کند و همبستگی رتبه‌بندی ۰٫۴۸۶ را برای درخواست مستقیم، ۰٫۵۶۱ را با معیارهای صریح موفقیت و ۰٫۶۲۶ را برای D&A کامل گزارش می‌کند. جداسازی مراحل بدون اتصال توصیف به موجودیت‌های صحنه یا معیارهای موفقیت، امتیاز ۰٫۳۴۳ داشت. بر اساس جدول، بهبود نسبت به درخواست مستقیم برای معیارهای موفقیت به‌تنهایی و D&A کامل به‌ترتیب ۰٫۰۷۵ و ۰٫۱۴۰ است؛ متن همراه جدول، بهبودهای ناسازگاری گزارش می‌کند.
شواهد به ارزیابی‌های انجام‌شده توسط نویسندگان محدود است و تکرار مستقلی ارائه نشده است. D&A-Bench شامل ۵۴ مسیر اجرا در ۱۴ کار است؛ ده صورت‌بندی دستور برای هر مسیر، اجرای مستقل بیشتری از ربات محسوب نمی‌شود. ادعای جدا بودن این مجموعه از داده‌های آموزش مدل‌ها مستقلاً تأیید نشده و مقایسه‌ها همواره از مدل پایه یکسان استفاده نمی‌کنند. نتایج اصلی فاقد فاصله اطمینان و تعداد دوره‌های مستقل آموزش هستند.
D&A همچنین برای ارزیابی پیشرفت در مراحل اولیه، از کل ویدئو، از جمله مشاهدات بعدی، استفاده می‌کند. این ویژگی از برچسب‌گذاری پاداش پس از پایان اجرا پشتیبانی می‌کند، اما عملکرد ارزیابی جریانی بدون دسترسی به فریم‌های آینده را اثبات نمی‌کند. یافته‌ها از رویکردی امیدبخش برای طراحی پاداش در شرایط آزمایش‌شده پشتیبانی می‌کنند، اما قابلیت اتکای گسترده‌تر آن همچنان روشن نیست.
منبع: https://arxiv.org/abs/2611.03622
تصویر جلد با هوش مصنوعی تولید شده و تصویرسازی مفهومی است؛ مدرک پژوهش نیست.