>/BASH

روش Test-Time Baking از رندر نماهای تازه تا ۲۳ برابر سریع‌تر، همراه با بده‌بستان‌هایی خبر می‌دهد

یک پیش‌چاپ arXiv اطلاعات صحنه را در شبکه‌های عصبی کوچک فشرده می‌کند تا رندر نماهای تازه سریع‌تر شود. بیشترین افزایش سرعت گزارش‌شده، آماده‌سازی صحنه را شامل نمی‌شود و کیفیت تصویر به پیکربندی بستگی دارد.

روش Test-Time Baking از رندر نماهای تازه تا ۲۳ برابر سریع‌تر، همراه با بده‌بستان‌هایی خبر می‌دهد

پژوهشگران انویدیا و دانشگاه ملی یانگ مینگ چیائو تونگ روشی معرفی کرده‌اند که در یکی از پیکربندی‌های آزمایش‌شده، نماهای تازه دوربین را تا ۲۳ برابر سریع‌تر از مدل مقایسه‌ای DVSM رندر می‌کند. این روش با نام Test-Time Baking یا TTB، بخشی از محاسبات را به آماده‌سازی صحنه منتقل می‌کند تا تصاویر بعدی سریع‌تر تولید شوند. این پژوهش در ۱۲ نوامبر ۲۰۲۶ به‌صورت نسخه ۱ پیش‌چاپ در arXiv منتشر شد؛ داوری علمی آن تأیید نشده است.

سنتز نمای تازه با استفاده از تصاویر موجود پیش‌بینی می‌کند که صحنه از موقعیت دیگری برای دوربین چگونه دیده می‌شود. TTB به موقعیت و جهت دوربین‌ها و پارامترهای درونی آن‌ها نیاز دارد. مدل‌های صرفاً رمزگشا مانند DVSM، اطلاعات صحنه را از طریق توجه میان‌نما بازیابی می‌کنند و به حافظه نهانی مراجعه می‌کنند که با افزایش ورودی بزرگ‌تر می‌شود. در مقابل، TTB هنگام آماده‌سازی، پرسپترون‌های چندلایه یا MLPهای ویژه هر صحنه را با خروجی‌های توجه برازش می‌دهد و سپس هنگام رندر از وزن‌های به‌روزشده آن‌ها استفاده می‌کند.

این روش همچنین برای هر نمای ورودی دو بازنمایی جفت‌شده می‌سازد: یکی فقط حاوی اطلاعات دوربین و دیگری حاوی اطلاعات تصویر و دوربین. بازنماییِ فقط دوربین یاد می‌گیرد خروجی هدفِ توجهِ متکی بر تصویر را پیش‌بینی کند؛ بنابراین نوع ورودی آن با ورودی موجود هنگام رندر نمای تازه هماهنگ می‌شود. پیکربندی استاندارد از سه گام بهینه‌سازی داخلی استفاده می‌کند. به این ترتیب، نقش توجه در آماده‌سازی حفظ می‌شود و هنگام رندر نیازی به مراجعه مکرر به حافظه نهانِ رو‌به‌رشد آن نیست.

نویسندگان مدل را روی DL3DV-10K آموزش دادند و آن را روی ۱۴۰ صحنه کنارگذاشته‌شده برای آزمون در DL3DV، همراه با مجموعه‌داده‌های خارجی ارزیابی کردند. با ۶۴ نمای ورودی در وضوح 960p، سرعت رندر TTB برابر با ۲۳ فریم بر ثانیه و سرعت DVSM برابر با ۱ فریم بر ثانیه بود. اما آماده‌سازی صحنه به‌ترتیب ۶۵ و ۶۰ ثانیه طول کشید؛ بنابراین افزایش سرعت ۲۳ برابری به رندر مربوط است، نه کل فرایند. کیفیت نسخه استاندارد TTB نیز همچنان پایین‌تر بود: PSNR آن ۳۰٫۲۰ در برابر ۳۱٫۱۱ دسی‌بل، SSIM آن ۰٫۸۹۷ در برابر ۰٫۹۲۰ و LPIPS آن ۰٫۱۳۱ در برابر ۰٫۱۰۴ بود. PSNR و SSIM بالاتر و LPIPS پایین‌تر نشان‌دهنده تطابق بیشتر با تصاویر مرجع هستند.

یک گونه اختیاری، دوربین‌های نزدیک به هم را گروه‌بندی می‌کند و برای هر گروه MLPهای جداگانه‌ای برازش می‌دهد. این گونه در همان شرایط، به PSNR برابر با ۳۱٫۳۳ دسی‌بل، SSIM برابر با ۰٫۹۱۹ و LPIPS برابر با ۰٫۱۰۸ رسید و با همان سرعت رندر و زمان آماده‌سازی گزارش‌شده، در مجموع شاخص‌ها به DVSM نزدیک شد. این کار با ذخیره اطلاعات بیشتر برای صحنه، ظرفیت را افزایش می‌دهد. نتایج خارجی متفاوت بودند: در مجموعه Hike با ۶۴ نما در وضوح 960p، گونه گروه‌بندی‌شده در هر سه شاخص تصویر از DVSM بهتر بود، اما پیکربندی‌های دیگر نتایج یکدستی نداشتند.

آزمایش‌های کنترل‌شده کوچک‌تر از اجزای پیشنهادی پشتیبانی کردند، هرچند شرایط آن‌ها با آزمون‌های اصلی متفاوت بود. شواهد همچنان گزارش خود نویسندگان است و تکرار مستقل، فاصله اطمینان یا عدم‌قطعیت ناشی از آموزش‌های تکراری ارائه نشده است. سخت‌افزار و رویه‌های زمان‌سنجی در مطالب ارائه‌شده مشخص نیست؛ استفاده از پردازنده‌های گرافیکی A100 برای آموزش، سخت‌افزار رندر را مشخص نمی‌کند. تفاوت معماری و سابقه آموزش نیز مقایسه‌های علّی را محدود می‌کند. ظرفیت ثابت MLP می‌تواند کیفیت را محدود کند و استفاده از توجه، آماده‌سازی را پرهزینه نگه می‌دارد. بنابراین این رویکرد ظاهراً برای زمانی مناسب‌تر است که نماهای زیادی از یک صحنه آماده‌شده تولید شوند؛ این آزمون‌ها عملکرد با دوربین‌های ناشناخته یا دیدگاه‌های مشاهده‌نشده بدون محدودیت را اثبات نمی‌کنند.

تصویر جلد با هوش مصنوعی تولید شده و تصویرسازی مفهومی است؛ مدرک پژوهش نیست.

منابع اصلی

پست این خبر در اینستاگرام