
بر اساس پیشچاپ «Unbundling Multimodal Vision Encoding» در arXiv، به تاریخ ۱۲ نوامبر ۲۰۲۶، مدلهای هوش مصنوعی چندوجهی ممکن است از پارامترهای اختصاصیافته به پردازش تصویر بیشتر از یک رمزگذار بینایی با پیشآموزش جداگانه سود ببرند. این گروه، با وابستگیهایی به دانشگاه نیویورک و Meta FAIR، گزارش میدهد که انتقال این ظرفیت اختصاصی به لایههای ابتدایی بدنه مشترک تصویر و متن، عملکرد پاسخگویی به پرسشهای تصویری را حفظ کرد. داوری علمی مقاله تأیید نشده است.
این مطالعه سه انتخاب را از هم جدا میکند که معمولاً در یک رمزگذار بینایی با هم جمع میشوند: دانش حاصل از پیشآموزش جداگانه، پارامترهای منحصراً مورد استفاده بینایی و پردازش تصویر پیش از تعامل آن با متن. در آزمایشهای اصلی، اجزا با منابع داده و تنظیمات مشترک از صفر آموزش دیدند و بدنههایی با ۱٫۷ میلیارد و ۴ میلیارد پارامتر مقایسه شدند. مطالعه مقیاسپذیری نیز بازه ۰٫۶ میلیارد تا ۶٫۴ میلیارد پارامتر را پوشش داد.
آموزش، متن Nemotron-CC را با دادههای انگلیسی تصویر و متن MetaCLIP ترکیب کرد؛ نسبت دادههای صرفاً متنی به تصویر و متن ۷۰ به ۳۰ بود و برای آموزش چندوجهی از شرحهای بازتولیدشده تصاویر استفاده شد. مقایسهها مجموع عملیات ممیز شناور آموزش را در تمام مراحل برابر نگه داشتند. این محاسبه شامل تنظیم دستوری برای ارزیابی نبود: سه دوره روی Cambrian-7M با وضوح ۴۴۸ × ۴۴۸. نتایج تصویری میانگین چهار دسته در ۱۶ معیار و نتایج زبانی میانگین چهار دسته در ۱۲ معیار بودند، نه دقت تجمیعی تمام پرسشها.
با بدنهای دارای ۱٫۷ میلیارد پارامتر و ۲٫۶ × ۱۰^۲۱ عملیات ممیز شناور آموزشی، رمزگذاری که از صفر و بهطور مشترک آموزش دید، میانگین ۴۴٫۴٪ در پاسخگویی به پرسشهای تصویری کسب کرد؛ این رقم برای مدل بدون رمزگذار ۳۹٫۰٪ بود، یعنی فاصلهای معادل ۵٫۴ واحد درصد. میانگینهای زبانی بهترتیب ۴۹٫۷٪ و ۵۰٫۷٪ بودند. افزودن ۰٫۴ میلیارد پارامتر رمزگذار به بدنه مشترک مدل بدون رمزگذار، میانگینهای تصویری ۳۸٫۶ تا ۳۸٫۸٪ را به همراه داشت و شکاف، بهویژه در خواندن متن و نمودار، برطرف نشد.
محل قرارگیری پارامترهای اختصاصی نیز اهمیت داشت. شاخههای پیشخور مختص بینایی در هشت لایه نخست بدنه امتیاز ۴۵٫۰٪ گرفتند، در برابر ۴۴٫۴٪ برای رمزگذار آموزشدیده از صفر؛ قرار دادن این ظرفیت در لایههای انتهایی امتیاز ۳۵٫۱٪ داشت. نویسندگان عملکرد طراحی پیشفرض خود با ظرفیت بینایی درون لایههای ابتدایی ادغام را در بودجههای آموزشی آزمودهشده مشابه رمزگذار توصیف میکنند. روابط برازششده مقیاسپذیری نشان دادند مدلهای بدون رمزگذار، در بازه آزمودهشده، برای رسیدن به امتیازهای تصویری و خطای شرحنویسی رمزگذار تقریباً به سه برابر محاسبات نیاز داشتند. این نسبت، قاعدهای همگانی برای زمان اجرا یا هزینه ارائه خدمات نیست.
پیشآموزش جداگانه در این پروتکل مزیت روشنی برای عملکرد نهایی نداشت. حتی وقتی هزینه محاسباتی آن کنار گذاشته شد، پیشآموزش طولانیتر MetaCLIP دقت بازشناسی ImageNet را از ۸۰٫۴٪ به ۸۴٫۴٪ رساند، بیآنکه میانگین پاسخگویی به پرسشهای تصویری بهتر شود.
این یافتهها به معماریهای متراکم، منابع تصویری مشترک و تصاویر آموزشی عمدتاً ۲۲۴ × ۲۲۴ محدودند. آنها سودمندی احتمالی رمزگذارهای منتشرشدهای را که با دادههای بیشتری آموزش دیدهاند رد نمیکنند. همچنین بنا بر گزارش، یک گونه نگاشت قطعههای تصویر با وضوح بالاتر به عملکرد رمزگذار رسید؛ موضوعی که ادعاهای کلی علیه رویکردهای بدون رمزگذار را محدود میکند. شواهد ارائهشده شامل تکرارهای مستقل با بذرهای تصادفی متفاوت، فاصلههای اطمینان یا آزمونهای رسمی همارزی نیست: مشابه بودن امتیازها توصیف نویسندگان است، نه اثبات همارزی آماری. تکرار مستقل و آزمون معماریها و دادههای گستردهتر همچنان لازم است.
تصویر جلد با هوش مصنوعی تولید شده و تصویرسازی مفهومی است؛ مدرک پژوهش نیست.