>/BASH

GUILD با استفاده از بازخورد، انتخاب نمونه‌های آموزشی ربات را هدایت می‌کند

پیش‌چاپی از دانشگاه تگزاس در آستین گزارش می‌دهد که GUILD با هدایت جمع‌آوری نمونه‌های آموزشی بر اساس سودمندی پیش‌بینی‌شده داده‌ها، عملکرد ربات را بهبود داده است. آزمایش‌ها سه وظیفه هدف در شبیه‌سازی و چهار وظیفه در دنیای واقعی را پوشش دادند؛ مزایای گسترده‌تر و کاهش هزینه کل هنوز اثبات نشده‌اند.

GUILD با استفاده از بازخورد، انتخاب نمونه‌های آموزشی ربات را هدایت می‌کند

پژوهشگران دانشگاه تگزاس در آستین، GUILD را توسعه داده‌اند؛ سامانه‌ای که با استفاده از بازخورد درباره داده‌های آموزشی تصمیم می‌گیرد کدام نمونه‌های نمایشی ربات در مرحله بعد جمع‌آوری شوند. نویسندگان در پیش‌چاپی که ۳ نوامبر ۲۰۲۶ در arXiv منتشر شد، از بهبود عملکرد در وظایف هدف با بودجه ثابت برای تعداد نمونه‌ها، در شبیه‌سازی و آزمایش‌های ربات واقعی خبر می‌دهند. داوری همتا و تکرار مستقل نتایج تأیید نشده‌اند.

ربات‌ها در یادگیری تقلیدی، انجام حرکات را از نمونه‌های نمایشی می‌آموزند؛ نمونه‌هایی که اغلب با کنترل پرهزینه ربات از راه دور توسط انسان جمع‌آوری می‌شوند. GUILD برای شرایطی طراحی شده که بیشتر داده‌ها باید در محیط‌های کمکیِ در دسترس جمع‌آوری شوند و تنها مجموعه کوچکی از نمونه‌ها از محیط استقرار موردنظر موجود است. هدف آن، اولویت‌دادن به نمونه‌های مفید پیش از پرداخت هزینه جمع‌آوری است، به‌جای پالایش یک مجموعه بزرگ پس از گردآوری.

ابتدا یک مدل بینایی‌ـ‌زبانی، وظایفی را برای جمع‌آوری داده پیشنهاد می‌کند که محیط، چیدمان اشیا و هدف را در بر می‌گیرند. سپس GUILD با استفاده از MAGIC، روشی برای انتساب اثر داده مبتنی بر فراگرادیان، تخمین می‌زند نمونه‌ها چگونه بر خطای تقلید در نمونه‌های هدف اثر می‌گذارند. سامانه این تخمین‌ها را برای هر وظیفه تجمیع می‌کند، از وظایفی که مفیدتر پیش‌بینی شده‌اند نمونه‌های بیشتری می‌گیرد و سودمندی آن‌ها را دوباره محاسبه می‌کند. رتبه‌بندی‌ها بر پیشنهاد وظایف بعدی نیز اثر می‌گذارند. این سیگنال، تخمینی محلی بر پایه یک شاخص جانشینِ خطای آفلاین است، نه اندازه‌گیری مستقیم تغییر موفقیت در وظیفه بر اثر هر نمونه جدید.

پژوهشگران، سیاست‌های کنترلی ازپیش‌آموزش‌دیده Octo را با ترکیب نمونه‌برداری ۵۰/۵۰ از نمونه‌های جمع‌آوری‌شده و نمونه‌های وظیفه هدف آموزش دادند. آزمایش‌های شبیه‌سازی سه وظیفه هدف از میان ۱۷ محیط LIBERO-90 را پوشش دادند؛ برای هر هدف، نمونه‌ها با کنترل‌گرهای اسکریپت‌شده در ۱۶ محیط دیگر تولید شدند. نویسندگان گزارش می‌دهند که GUILD در تمام بودجه‌های ارزیابی‌شده با قوی‌ترین روش مبنا برابر بود یا از آن پیشی گرفت. روش‌های مقایسه شامل جمع‌آوری تصادفی، جمع‌آوری یکنواخت از وظایف پیشنهادی مدل، STRAP و Factored Scaling Curves بودند. نرخ‌های دقیق موفقیت و بیشتر اندازه‌اثرها در متن ارائه‌شده از شکل‌ها در دسترس نیستند.

در آزمایش ربات‌های واقعی با مجموعه وظایف ثابت، نمونه‌ها از ۴۹ وظیفه ازپیش‌ضبط‌شده در شش محیط انتخاب شدند: دو آشپزخانه، دو حمام و دو دفتر کار. نویسندگان برای چهار وظیفه هدف، بالاترین موفقیت را با بودجه برابر جمع‌آوری گزارش می‌دهند؛ عملکرد از روش مبنای All-Data نیز بهتر بود که داده‌های محیط هدف را هم در بر می‌گرفت. این آزمایش از ضبط‌های موجود نمونه‌برداری کرد و صرفه‌جویی در جمع‌آوری جدید با کنترل از راه دور را مستقیماً نسنجید. در آزمایش جداگانه جهان‌باز که امکان تعریف وظایف تازه را فراهم می‌کرد، بنا بر گزارش پژوهشگران، GUILD در تمام وظایف ارزیابی‌شده از جمع‌آوری یکنواخت بر اساس پیشنهادهای مدل بهتر بود و میانگین عملکرد حدود ۲۵٪ بالاتر داشت. متن روشن نمی‌کند که این رقم به بهبود نسبی اشاره دارد یا افزایش بر حسب واحد درصد.

همچنین گزارش شده است که GUILD در مقایسه‌هایی با حضور هشت متخصص رباتیک در شبیه‌سازی و دو کارشناس در جمع‌آوری واقعی، از میانگین عملکرد روش‌های هدایت‌شده توسط انسان بهتر بود. این مقایسه‌های کوچک، برتری عمومی بر گردآورندگان خبره را اثبات نمی‌کنند. نتایج شبیه‌سازی از سه اجرای مستقل جمع‌آوری با بذرهای تصادفی متفاوت، پنج سیاست کنترلی در هر ارزیابی و ۱۰۰ اجرای آزمایشی برای هر سیاست به دست آمدند؛ میانگین‌ها و خطاهای استاندارد گزارش‌شده بر اساس همان سه اجرای جمع‌آوری محاسبه شدند. سیاست‌های ربات واقعی طی ۲۰ اجرای آزمایشی ارزیابی شدند، اما تعداد تکرارهای مستقل جمع‌آوری مشخص نشده است.

این یافته‌ها از جمع‌آوری هدفمند داده در همین شرایط محدود پشتیبانی می‌کنند. نمونه‌های هدف هم برای انتساب اثر داده و هم برای آموزش سیاست به کار رفتند؛ بنابراین تعمیم به محیط‌های هدف دیده‌نشده اثبات نشده است. به‌روزرسانی مکرر سودمندی، محاسبات بیشتری می‌طلبد. تعداد برابر نمونه‌ها نیز به معنای برابری زمان جمع‌آوری، تلاش برای آماده‌سازی یا هزینه کل نیست. معناداری آماری در میان مقایسه‌های متعدد، در متن ارائه‌شده مستند نشده است.

منبع: GUILD: Guided Iterative Data Collection for Imitation Learning، شناسه arXiv:2611.05368، نسخه ۱.

تصویر جلد با هوش مصنوعی تولید شده و تصویرسازی مفهومی است؛ مدرک پژوهش نیست.

منابع اصلی

پست این خبر در اینستاگرام