>/BASH

Video-Coder با کدنویسی صحنه‌های سه‌بعدی، امتیازهای فیزیکی ویدئو را بهبود می‌دهد

یک پیش‌چاپ در arXiv گزارش می‌دهد که عاملی کدنویس با ارائه پیش‌نویس‌های رندرشده سه‌بعدی، نتایج MiniMax-H3 را در معیارهای متمرکز بر فیزیک بهبود داده است. برای یافته‌ها برآورد عدم‌قطعیت گزارش نشده و مقاله درباره تعداد داده‌های آموزشی و میزان بهبود ناسازگاری‌هایی دارد.

Video-Coder با کدنویسی صحنه‌های سه‌بعدی، امتیازهای فیزیکی ویدئو را بهبود می‌دهد

عاملی کدنویس که پیش از افزودن ظاهر توسط مولد ویدئو، صحنه را می‌سازد، می‌تواند به بهبود باورپذیری فیزیکی کلیپ‌های تولیدشده کمک کند. پژوهشگران در پیش‌چاپ Video-Coder، منتشرشده در arXiv در ۶ نوامبر ۲۰۲۶، گزارش می‌دهند که ارائه یک پیش‌نویس سه‌بعدی برنامه‌نویسی‌شده همراه با دستور متنی به MiniMax-H3، امتیازهای معیارهای متمرکز بر فیزیک را افزایش داده است. داوری همتای مقاله تأیید نشده و نتایج، گزارش خود نویسندگان است.

این عامل که بر پایه Qwen3.5-9B ساخته شده، برنامه‌های پایتون برای Blender می‌نویسد تا اشیا، چیدمان فضایی، حرکت و رفتار دوربین را مشخص کند. یک محیط تعاملی کد را اجرا می‌کند و خطاها، بررسی‌های محتوایی و فریم‌های رندرشده را برمی‌گرداند تا عامل بتواند آن را اصلاح کند. صحنه‌های موفق به ویدئوهای پیش‌نویس خاکستری و بدون بافت تبدیل می‌شوند که مولد پایین‌دستیِ ثابت را هدایت می‌کنند. محیط همچنین اسکریپت‌های تحویل‌داده‌شده را از ابتدا اجرا می‌کند تا بازتولیدپذیری پیش‌نویس را بررسی کند.

آموزش، تنظیم دقیق نظارت‌شده را با یادگیری تقویتی ترکیب می‌کند. یک پاداش بررسی می‌کند که برنامه اجرا شود و بررسی‌های محیط را بگذراند؛ پاداش دیگر از یک مدل برای ارزیابی ویدئوی نهایی در مقایسه با دستور متنی و یک ویدئوی مرجع استفاده می‌کند. وزن پاداش اجرا در طول آموزش کاهش می‌یابد. این مراجع، ویدئوهای مصنوعی MiniMax-H3 هستند، نه تصاویر ضبط‌شده از رویدادهای فیزیکی واقعی. مقاله اندازه‌های ناسازگاری برای مجموعه‌داده‌ها ارائه می‌دهد: در بخش روش‌ها ۶٬۰۰۰ نمونه نظارت‌شده و ۲٬۰۰۰ نمونه یادگیری تقویتی، اما در بخش تنظیمات آزمایش و نتیجه‌گیری ۱۰٬۰۰۰ و ۴٬۰۰۰ نمونه ذکر شده است.

در PhyGenBench، که طبق توضیح نویسندگان با پروتکل داوری GPT-4o سازگاری مکانیکی، نوری، حرارتی و مواد را می‌سنجد، میانگین MiniMax-H3 از ۰٫۶۱ به ۰٫۶۷ رسید. این افزایش مطلق ۰٫۰۶ در مقیاس صفر تا یک است، درحالی‌که چکیده حدود هفت امتیاز افزایش ادعا می‌کند. برای یک مولد دیگر، OmniWeaving، امتیاز از ۰٫۴۸ به ۰٫۵۱ رسید؛ ادعای همراه آن درباره افزایش ۱۶٫۲۸ امتیازی با جدول سازگار نیست.

در ابعاد فیزیکی منتخب VBench-2.0، میانگین MiniMax-H3 از ۵۴٫۵۸٪ به ۷۸٫۱۹٪ افزایش یافت؛ یعنی بهبود ۲۳٫۶۱ واحد درصدی. این عدد امتیاز کل مجموعه آزمون VBench-2.0 نیست. امتیاز مکانیک به ۸۸٫۶۷٪، پدیده‌های حرارتی به ۷۰٫۸۸٪ و مواد به ۷۵٫۰۲٪ رسید. میانگین از نتیجه درج‌شده برای CogVideoX-1.5، یعنی ۷۷٫۰۴٪، بالاتر بود؛ هرچند عملکرد در بخش مواد همچنان از امتیاز ۸۳٫۱۹٪ آن مدل پایین‌تر ماند.

مقایسه‌های آموزشی از رویکرد ترکیبی در همین خط پردازش پشتیبانی می‌کنند: امتیاز PhyGenBench با آموزش نظارت‌شده به‌تنهایی ۰٫۶۳، بدون کاهش وزن پاداش اجرا ۰٫۶۵، بدون پاداش ویدئو ۰٫۶۴ و بدون پاداش اجرا ۰٫۶۳ بود؛ در مقابل، روش کامل به ۰٫۶۷ رسید. این مقایسه‌ها ثابت نمی‌کنند که همه اجزا در هر شرایطی ضروری‌اند.

شواهد محدودیت‌های مهمی دارند. تعداد دستورهای آزمون، دفعات تکرار تولید، تکرارهای مستقل آزمایش، فاصله‌های اطمینان و آزمون‌های معناداری گزارش نشده‌اند. بررسی هم‌پوشانی با معیارها، جداسازی انتخاب پارامترها از ارزیابی نهایی و قابل‌مقایسه بودن بودجه محاسباتی استنتاج مدل‌های مبنا مستند نشده است. پالایش دستورها به نفع صحنه‌هایی است که با اشکال هندسی و حرکت برنامه‌نویسی‌شده توصیف می‌شوند و برخی محتواهای وابسته به ظاهر و حالت چهره را کنار می‌گذارد. مراجع مصنوعی و مدل‌های داور ممکن است سوگیری ایجاد کنند؛ امتیازهای باورپذیری، درستی فیزیکی یا قابلیت اعتماد عمومی را ثابت نمی‌کنند. طبق گزارش، آموزش از هشت پردازنده گرافیکی H100 و ۱۶ پردازنده دیگر برای تولید ویدئو در مسیرهای تعاملی آموزشی استفاده کرده، اما هزینه و تأخیر استنتاج کمّی نشده است. نویسندگان می‌گویند داده‌ها، مدل‌ها و کد را منتشر کرده‌اند، اما دسترسی به آن‌ها مستقلاً بررسی نشده است.

منبع: https://arxiv.org/html/2611.09894v1

تصویر جلد با هوش مصنوعی تولید شده و تصویرسازی مفهومی است؛ مدرک پژوهش نیست.

منابع اصلی

پست این خبر در اینستاگرام