>/BASH

Reviso با یادگیری اینکه کجا را ببیند، توصیف ویدئو را بهبود می‌دهد

یک پیش‌چاپ در arXiv گزارش می‌دهد که Reviso با برنامه‌ریزی بررسی‌های هدفمند و استفاده از ابزارهایی مانند برش تصویر و تشخیص نوری نویسه‌ها، توصیف ویدئو را بهبود می‌دهد. آزمون‌های نویسندگان نسبت به مدل پایه پیشرفت نشان می‌دهند، اما استحکام آماری، هزینه‌های اجرا و قابلیت اتکای عمومی همچنان روشن نیست.

Reviso با یادگیری اینکه کجا را ببیند، توصیف ویدئو را بهبود می‌دهد

Reviso، سامانه‌ای برای توصیف ویدئو که در پیش‌چاپی به تاریخ ۲ نوامبر ۲۰۲۶ در arXiv معرفی شده، یاد می‌گیرد کدام بخش‌های ویدئو به بررسی دقیق‌تر نیاز دارند. نویسندگان از بهبود پوشش اطلاعات واقعی و تولید توصیف‌های مفیدتر در آزمون‌های معیار خبر می‌دهند. داوری همتا تأیید نشده و نتایج حاصل ارزیابی خود گروه پژوهشی است، نه یک ارزیاب مستقل.

این رویکرد به یکی از مشکلات توصیف‌های مفصل هوش مصنوعی می‌پردازد: متن ممکن است جزئیات فرعی فراوانی داشته باشد، اما رویداد اصلی را از قلم بیندازد. Reviso با پیش‌نمایشی با نرخ فریم پایین آغاز می‌کند و برنامه‌ای با ساختار «زمینه–تمرکز–نکات» می‌سازد. این برنامه موقعیت کلی را مشخص می‌کند، جنبه‌های مهم را اولویت می‌دهد و جزئیات معینی را برای بررسی تعیین می‌کند. سپس سامانه به بخش‌های منتخب بازمی‌گردد، تصاویر را برش می‌دهد یا از تشخیص نوری نویسه‌ها (OCR) استفاده می‌کند و پیش از ترکیب شواهد در یک توصیف، برنامه‌اش را به‌روز می‌کند.

Reviso بر پایه Qwen3.5-9B ساخته شده و با ۱۰٬۰۰۰ مسیر مشاهده تأییدشده برای تنظیم دقیق نظارت‌شده و ۲۰٬۰۰۰ نمونه یادگیری تقویتی آموزش دیده است. آموزش به پوشش اطلاعات واقعی و انتخاب اهداف مشاهده مرتبط پاداش می‌دهد و استفاده پرهزینه از ابزارها را که به توصیف‌های ضعیف‌تر منجر شود، به‌صورت مشروط جریمه می‌کند. توصیف‌های مرجع با ویرایش انسانی متن‌های موجود و تولیدشده توسط مدل‌ها تهیه شدند؛ راستی‌آزمایی با مدل و اصلاح به کمک مدل معلم تعیین کرد کدام مسیرها حفظ شوند.

در مقایسه اصلی، هر مدل مجاز بود حداکثر ۱۲۸ فریم از هر ویدئو دریافت کند. مدل‌های مبنای مقایسه فریم‌ها را به‌طور یکنواخت نمونه‌برداری کردند، اما Reviso سهم خود را میان پیش‌نمایش و بازبینی‌های هدفمند تقسیم کرد. در DREAM-1K، امتیاز F1 این سامانه ۳۹٫۵٪ بود؛ در برابر ۳۵٫۱٪ برای مدل پایه آن و ۳۹٫۲٪ برای قوی‌ترین مدل متن‌باز دیگر در ارزیابی. F1 میان دقت اطلاعات واقعی و پوشش آن‌ها توازن برقرار می‌کند. در MCTS-VCB، امتیاز F1 از ۴۵٫۵٪ مدل پایه به ۶۰٫۹٪ رسید؛ افزایشی برابر با ۱۵٫۴ واحد درصد.

در CaReBench، امتیاز F1 کنش‌ها از ۲۵٫۲٪ به ۳۴٫۳٪ و امتیاز F1 اشیا از ۲۷٫۲٪ به ۳۳٫۹٪ افزایش یافت. در VDC، امتیاز TP از ۲٫۳۳ به ۲٫۹۵ و دقت TP از ۰٫۴۳۷ به ۰٫۵۶۸ رسید؛ این اعداد در واحدهای اصلی معیار گزارش شده‌اند. Reviso در شاخص‌های اصلی کیفیت توصیف از مدل‌های متن‌باز ارزیابی‌شده جلوتر بود، اما در تک‌تک مؤلفه‌های دقت یا بازیابی برتری نداشت. مدل‌های اختصاصی در برخی سنجه‌ها بهتر بودند؛ در مقایسه‌ای جداگانه میان گردش‌کارها نیز ترکیب GPT-6 Astra و Codex در DREAM-1K بالاتر از Reviso قرار گرفت.

برای سنجش حفظ اطلاعات مفید در توصیف‌ها، Gemini 3.1 Pro تنها با استفاده از متن توصیف‌ها و بدون دسترسی به ویدئو به پرسش‌ها پاسخ داد. توصیف‌ها بدون دیدن پرسش‌ها تولید شده بودند. دقت در LVBench به ۵۲٫۰٪ رسید، در برابر ۴۷٫۱٪ با توصیف‌های مدل پایه؛ دقت کلی MMVU نیز ۷۲٫۷٪ بود، در برابر ۷۰٫۶٪. آزمایش‌های حذف مؤلفه‌ها هم به سود سامانه کامل بودند: تنظیم دقیق نظارت‌شده به‌تنهایی در DREAM-1K امتیاز F1 برابر با ۳۷٫۶٪ داشت، در مقایسه با ۳۹٫۵٪ برای روش کامل.

این یافته‌ها از مشاهده هدفمند در چارچوب آزموده‌شده پشتیبانی می‌کنند، اما استحکام آن‌ها نامشخص است. متن ارائه‌شده تعداد نمونه‌های ارزیابی، فاصله‌های اطمینان، آزمون‌های آماری یا تغییرپذیری میان اجراهای آموزشی را گزارش نمی‌کند. بنابراین برتری ۰٫۳ واحد درصدی در DREAM-1K نسبت به قوی‌ترین رقیب متن‌باز باید با احتیاط تفسیر شود. بررسی هم‌پوشانی داده‌های آموزش با معیارها و وابستگی میان کلیپ‌های منبع نیز توصیف نشده است، هرچند بنا بر گزارش، ویدئوهای آموزش نظارت‌شده و یادگیری تقویتی مشترک نبودند.

مراجع تولیدشده با مدل و فرایند راستی‌آزمایی ممکن است خطاها یا ترجیحات مدل‌ها را وارد کنند. سقف برابر تعداد فریم نیز به معنای محاسبات، تأخیر یا هزینه برابر نیست؛ مصرف واقعی منابع گزارش نشده است. مقایسه با مدل پایه، آموزش و شیوه مشاهده را هم‌زمان تغییر می‌دهد و آزمایش‌های حذف مؤلفه‌ها سهم هر جزء را به‌طور کامل جدا نمی‌کنند. آزمون پایین‌دستی از یک مدل استخراج پاسخ استفاده می‌کند و تکرار مستقل یا ارزیابی انسانی نظام‌مند گزارش نشده است. نتایج از راهبرد مشاهده‌ای امیدبخش حکایت دارند، اما قابلیت اتکای عمومی یا برتری همگانی را اثبات نمی‌کنند.

منبع: https://arxiv.org/abs/2611.03602

تصویر جلد با هوش مصنوعی تولید شده و تصویرسازی مفهومی است؛ مدرک پژوهش نیست.

منابع اصلی

پست این خبر در اینستاگرام