>/BASH

پلتفرم Isekai3D انویدیا از گیم‌پلی ضبط‌شده نماهای متنوعی برای آموزش هوش مصنوعی می‌سازد

پیش‌چاپی به قلم پژوهشگران انویدیا پلتفرمی را معرفی می‌کند که شبیه‌سازی گیم‌پلی را از ثبت خروجی تصویری جدا می‌کند تا ضبط‌ها با دوربین‌ها و تنظیمات رندر مختلف بازاستفاده شوند. افزایش بهره‌وری گزارش‌شده بر اندازه‌گیری‌های داخلی محدود استوار است؛ اثر آن بر مدل‌های آموزش‌دیده هنوز ارزیابی نشده است.

پلتفرم Isekai3D انویدیا از گیم‌پلی ضبط‌شده نماهای متنوعی برای آموزش هوش مصنوعی می‌سازد

پژوهشگران انویدیا پلتفرم Isekai3D SDG را معرفی کرده‌اند که برای تبدیل یک توالی ضبط‌شده از گیم‌پلی به چند مجموعه داده تصویری مصنوعی برای آموزش طراحی شده است. رویکرد اصلی آن، جداسازی شبیه‌سازی فعالیت از رندر مشاهدات است تا پژوهشگران بتوانند نمای دوربین، وضوح خروجی و گذرهای رندر را بدون تکرار شبیه‌سازی اولیه تغییر دهند. این گزارش در ۲ نوامبر ۲۰۲۶ در arXiv منتشر شد؛ داوری علمی آن تأیید نشده است.

گردش کار نمایش‌داده‌شده بر گیم‌پلی سوم‌شخص در Unreal Engine تمرکز دارد. دارایی‌های آن شامل بیش از ۵۰۰ شخصیت انسان‌نمای تولیدشده و بیش از ۲۴۵ محیط دارای مجوز است. هنگام شبیه‌سازی، افزونه‌ها وضعیت جهان را همراه با حرکت شخصیت‌ها، مسیر دوربین‌ها و رویدادهای ورودی دارای برچسب زمانی ضبط می‌کنند. در مرحله بعد، این اطلاعات بازپخش می‌شوند تا ویدئو یا تصویر و خروجی‌های اختیاری مانند عمق، ویژگی‌های سطح و شناسه نمونه‌ها تولید شود. فراداده دوربین، شخصیت و کنش نیز همراه با فریم‌های تصویری ارائه می‌شود.

این جداسازی امکان تولید مشاهدات جفت‌شده از یک فعالیت واحد، از جمله نماهای اول‌شخص، سوم‌شخص، از بالا و پانوراما را فراهم می‌کند. چنین داده‌هایی می‌توانند برای پژوهش درباره مدل‌های جهان، که چگونگی تحول محیط را بازنمایی می‌کنند، و نیز سامانه‌های بینایی و عامل‌های بازی کاربرد داشته باشند. بااین‌حال، گزارش بررسی نمی‌کند که آیا داده‌های این پلتفرم دقت مدل، عملکرد عامل، استحکام یا انتقال به دنیای واقعی را بهبود می‌دهند یا نه.

یکی از قابلیت‌های افزایش بهره‌وری، موسوم به «شبیه‌سازی شبح»، چند مسیر مستقل حرکت شخصیت را در جهانی مشترک ضبط می‌کند. شخصیت‌ها با محیط برخورد دارند، اما با یکدیگر تعامل نمی‌کنند و در هر خروجی تصویری فقط شخصیت انتخاب‌شده دیده می‌شود. نویسندگان، بسته به دستگاه و بار کاری، افزایش تقریباً ۱٫۳ تا ۲ برابری نرخ تولید داده در کل فرایند را در مقایسه با تکرار شبیه‌سازی برای مسیرهای مختلف گزارش می‌کنند. بنابراین، این شخصیت‌ها سناریوهای تعامل چندشخصیتی ایجاد نمی‌کنند و نماهای حاصل از ضبط‌های مشترک، مشاهداتی مرتبط با یکدیگر هستند، نه نمونه‌های مستقل گیم‌پلی.

این پلتفرم همچنین از مجموعه‌داده‌های تنبل پشتیبانی می‌کند: کلیپ‌های آموزشی هنگام نیاز از ویدئو و فراداده ذخیره‌شده خوانده و تبدیل می‌شوند. در یک گردش کار اندازه‌گیری‌شده، ساخت چنین مجموعه‌داده‌ای بر پایه ۱۰٬۰۰۰ ساعت ویدئو با پایتون ۳ دقیقه طول کشید؛ درحالی‌که کپی همان ویدئوها بدون پردازش، با ابزاری تنظیم‌شده برای این کار، ۱۶ ساعت زمان برد. این دو عملیات کار یکسانی انجام نمی‌دهند. خواندن و تبدیل نمونه‌ها همچنان در زمان آموزش هزینه زمانی دارد؛ بنابراین، این مقایسه صرفه‌جویی معادل در یک اجرای کامل آموزش را اثبات نمی‌کند.

یک برنامه بسته‌بندی‌شده، تولید داده را بدون نصب ویرایشگر Unreal Engine ممکن می‌کند و افزونه‌ها و کتابخانه‌های پیوند پویای سازگار، راه‌هایی برای گسترش قابلیت‌ها فراهم می‌کنند. بااین‌حال، گزارش عمدتاً توصیف یک سامانه است. مشخصات سخت‌افزار، ترکیب بار کاری، تعداد اجراهای تکراری و عدم‌قطعیت در اندازه‌گیری‌های عملکرد ارائه نشده‌اند. همچنین بررسی کمّی وفاداری بازپخش یا هم‌ترازی فراداده، ارزیابی اندازه‌گیری‌شده پوشش دارایی‌ها و اعتبارسنجی مستقل وجود ندارد. دستاورد پشتیبانی‌شده، یک گردش کار قابل‌پیکربندی برای تولید داده است؛ مزایای آن برای یادگیری مدل‌ها همچنان باید نشان داده شود.

تصویر جلد با هوش مصنوعی تولید شده و تصویرسازی مفهومی است؛ مدرک پژوهش نیست.

منابع اصلی

پست این خبر در اینستاگرام