>/BASH

PixVid تولید ویدئوی هوش مصنوعی را به پیکسل‌ها می‌برد؛ پاسخ سریع‌تر با افت نرخ تولید

یک پیش‌چاپ arXiv گزارش می‌دهد که PixVid مدل‌های ویدئویی ازپیش‌آموزش‌دیده را برای تولید مستقیم تک‌فریم‌ها در فضای پیکسل سازگار می‌کند. آزمون‌ها کیفیت رقابتی ویدئوهای کوتاه، هم‌ترازی بهتر ویرایش در حرکت سریع و تأخیر کمتر کنترل را نشان می‌دهند، اما نرخ تولید پایین‌تر و خطای بیشتر وضعیت دوربین نیز دیده

PixVid تولید ویدئوی هوش مصنوعی را به پیکسل‌ها می‌برد؛ پاسخ سریع‌تر با افت نرخ تولید

PixVid راهی برای پاسخ فریم‌به‌فریم مولدهای ویدئویی ازپیش‌آموزش‌دیده به فرمان‌های کنترلی ارائه می‌کند و هم‌زمان در آزمون‌های ویدئوی کوتاه کیفیتی رقابتی دارد. پژوهشگران در پیش‌چاپی که 12 نوامبر 2026 در arXiv منتشر شد، گزارش می‌دهند که انتقال تولید از بازنمایی‌های فشرده به پیکسل‌ها، تأخیر کنترل و ویرایش هدایت‌شده با عمق را بهبود می‌دهد. داوری همتا تأیید نشده و نتایج حاصل ارزیابی خود نویسندگان است.

بسیاری از مدل‌های انتشار ویدئو از خودرمزگذار واریاسیونی یا VAE برای فشرده‌سازی مکانی و زمانی پیش از تولید استفاده می‌کنند. این کار محاسبات را کاهش می‌دهد، اما ممکن است چند فریم یک بازنمایی فشرده مشترک داشته باشند و کنترل دقیق در سطح فریم دشوار شود. PixVid ترنسفورمر انتشار ازپیش‌آموزش‌دیده را حفظ می‌کند، رمزگذاری VAE را با تعبیه وصله‌های پیکسلی و رمزگشایی آن را با یک سر خروجی کانولوشنی جایگزین می‌کند. هر توکن نماینده وصله‌ای از یک فریم است؛ سر خروجی از اطلاعات فعلی و گذشته استفاده می‌کند و فریم‌های آینده را نمی‌خواند.

دستورالعمل آموزش، ویدئوی پاک را به‌جای سرعت پیش‌بینی می‌کند، برنامه نویز را تنظیم می‌کند و توابع زیان زمانی و ادراکی می‌افزاید. برای تولید ویدئو از متن، تیم پژوهش Wan2.1-14B را با استفاده از 64,000 ویدئوی مصنوعی تولیدشده با Wan2.1 سازگار کرد و همگرایی را پس از حدود 1.3 میلیون کلیپ آموزشی نمونه‌برداری‌شده و حدود 4,000 ساعت‌پردازنده گرافیکی B200 گزارش داد. آزمایش‌های جداگانه، یک مدل 1.3B را با 79,000 ویدئوی آرشیوی برای ویرایش و SolarWM-5B را برای تولید تعاملی سازگار کردند. آزمون اجزای مدل در پیکربندی‌های بررسی‌شده، استفاده از سر کانولوشنی و پیش‌بینی ویدئوی پاک را تأیید کرد.

در وضوح 480 × 832، امتیاز PixVid در VBench برابر 84.78 بود؛ در مقابل 84.05 برای Wan2.1-14B و 83.72 برای PixelUMM. ارزیابی از 946 پرامپت و پنج ویدئو به‌ازای هر پرامپت استفاده کرد و فقط 1.3 ثانیه نخست را امتیاز داد. این برتری‌های عددی محدود، برآورد عدم‌قطعیت ندارند. نویسندگان همچنین در مطالعه‌ای با 100 پرامپت و 10 ارزیاب، ترجیح انسانی PixVid را در همه مقایسه‌ها گزارش می‌کنند، اما سهم عددی آرا در داده‌های ارائه‌شده موجود نیست.

برای وضوح بالاتر، PixVid اندازه وصله‌ها را افزایش داد تا شبکه توکن 30 × 52 در هر فریم، در وضوح 960 × 1664 همانند 480 × 832 باقی بماند. با این کار هر بُعد مکانی دو برابر و تعداد پیکسل‌های هر فریم چهار برابر می‌شود. امتیاز VBench آن به 85.09 رسید، هرچند این معیار اندازه فریم‌ها را به حداکثر 512 پیکسل کاهش می‌دهد و در نتیجه جزئیات افزوده را مستقیماً اعتبارسنجی نمی‌کند. ثابت ماندن تعداد توکن نیز به معنای تولید سریع‌تر نبود: تولید یک کلیپ 21 فریمی روی یک B200 به 192 ثانیه زمان نیاز داشت؛ در مقابل 176 ثانیه برای مدل مقایسه‌ای فضای نهفته در همان وضوح.

ویرایش هدایت‌شده با عمق، هم‌ترازی بهتری در حرکت سریع نشان داد. در میان 250 کلیپ دارای بیشترین حرکت از مجموعه آزمون مستقل 1,000 کلیپی، میانه حرکت حفظ‌شده از منبع 98% بود؛ در مقابل 83% برای مدل فضای نهفته که با همان داده‌ها و تنظیمات تنظیم دقیق شده بود؛ یعنی اختلاف 15 واحد درصدی. میانه خطای حرکت از 17.9 به 10.7 پیکسل و خطای عمق از 0.136 به 0.109 کاهش یافت. بااین‌حال، فاصله فرشه ویدئو یا FVD در ارزیابی تجمیعی بدتر بود: 118 در مقابل 91؛ در این معیار مقدار کمتر بهتر است.

در آزمون‌های تعاملی روی یک B200، نسخه سازگارشده PixVid بلوک‌های تک‌فریمی تولید کرد، درحالی‌که مدل دانش‌آموز علّی رسمی SolarWM بلوک‌های 12 فریمی می‌ساخت. میانه تأخیر از دریافت فرمان تا نمایش از 495 به 34 میلی‌ثانیه کاهش یافت، اما نرخ تولید از 72.0 به 29.4 فریم بر ثانیه افت کرد. هر دو از نرخ بومی 16 فریم بر ثانیه مدل پایه فراتر بودند. همبستگی حرکت در چرخش‌های ناگهانی از 0.70 به 0.95 بهبود یافت، اما خطای چرخش دوربین از 4.24° به 5.44° و خطای جابه‌جایی از 0.231 به 0.312 افزایش یافت. این مقایسه هم اندازه بلوک و هم سازگارسازی مدل را تغییر می‌دهد؛ بنابراین اثر بازنمایی پیکسلی را به‌تنهایی جدا نمی‌کند.

شواهد از دستاوردهای مهندسی مشخص همراه با بده‌بستان‌ها پشتیبانی می‌کنند. خروجی‌های کوتاه، ثبات ویدئوهای بلند یا قابلیت اتکای عمومی در تعامل را اثبات نمی‌کنند. تکرار مستقل دوره‌های آموزش گزارش نشده، خروجی‌های دارای پرامپت مشترک مشاهدات وابسته‌اند و چند تنظیم با استفاده از VBench انتخاب شده‌اند. داده‌های ارائه‌شده همچنین فاقد پیوست‌های ارجاع‌شده‌اند و ارزیابی هم‌پوشانی مجموعه‌داده‌ها، تمهیدات جلوگیری از نشت داده و جزئیات روش ارزیابی را محدود می‌کنند. PixVid مسیری امیدبخش برای کنترل دقیق‌تر نشان می‌دهد، اما بازتولید مستقل و برتری همگانی آن هنوز اثبات نشده است.

تصویر جلد با هوش مصنوعی تولید شده و تصویرسازی مفهومی است؛ مدرک پژوهش نیست.

منابع اصلی

پست این خبر در اینستاگرام