>/BASH

مختصات تصویر به شمارش هوش مصنوعی کمک می‌کند، اما در دیگر آزمون‌های بصری سود محدودی دارد

یک پیش‌چاپ در arXiv نشان می‌دهد نوشتن مختصات تصویر هنگام استدلال، شمارش را بهبود می‌دهد، اما در ۹ آزمون استدلال فضایی و ادراک، بهبود معناداری ایجاد نمی‌کند. آزمایش‌های کنترل‌شده نشان می‌دهند مختصات زمانی بیشترین کمک را می‌کند که توصیف مراجع بصری با کلمات دشوار باشد.

مختصات تصویر به شمارش هوش مصنوعی کمک می‌کند، اما در دیگر آزمون‌های بصری سود محدودی دارد

طبق پیش‌چاپی که در ۵ نوامبر ۲۰۲۶ در arXiv منتشر شد، نوشتن مختصات تصویر در متن استدلال یک مدل هوش مصنوعی می‌تواند شمارش را بهبود دهد، بی‌آنکه به بهبود گسترده در درک بصری منجر شود. دیوید یان و همکارانش، عمدتاً وابسته به Elorian و با ذکر وابستگی دانشگاهی به پرینستون نیز، بررسی کردند این روش چه زمانی به مدل‌های بینایی‌ـ‌زبان کمک می‌کند. داوری همتای این پژوهش تأیید نشده است.

موضوع مطالعه، استدلال متکی بر مختصات است: مدل هنگام حل مسئله‌ای تصویری، مکان‌ها را به‌صورت متن می‌نویسد. این پژوهش روش‌هایی را که تصویر را بارها برش می‌دهند یا دوباره پردازش می‌کنند، نمی‌آزماید. پژوهشگران با استفاده از Qwen3-VL-8B، مجموعه‌ای شامل ۶٬۳۶۸ نمونه برای آموزش نظارت‌شده و سپس یادگیری تقویتی، استدلال با مختصات را با استدلال به زبان طبیعی مقایسه کردند. ارزیابی شامل شش آزمون استدلال فضایی، سه آزمون ادراک و دو آزمون شمارش بود. بیشتر شرایط آموزشی با سه نسخه مستقل آموزش‌دیده بررسی شدند؛ پاسخ‌های شمارش با رمزگشایی حریصانه تولید شدند.

پس از تنظیم دقیق نظارت‌شده، استدلال با مختصات در ۱٬۵۲۸ پرسش CountQA به امتیاز ۳۲٫۷٪ رسید، در برابر ۲۹٫۱٪ برای روش بدون مختصات. بهبود گزارش‌شده ۳٫۶ واحد درصد، با فاصله اطمینان ۹۵٪ به میزان ±۲٫۴ واحد درصد بود. در ۱٬۱۹۰ پرسش FSC-147، امتیازها ۱۰٫۳٪ در برابر ۷٫۷٪ بود؛ یعنی بهبود ۲٫۶ واحد درصد با ±۱٫۳. بر اساس معیار فاصله اطمینان نویسندگان، هیچ‌یک از دو مرحله آموزشی در هیچ‌کدام از ۹ آزمون فضایی یا ادراکی، بهبود مثبت معناداری ایجاد نکرد. پس از یادگیری تقویتی، مدل‌های دارای مختصات در سه آزمون فضایی عملکردی به‌طور معنادار ضعیف‌تر داشتند.

برای سنجش وابستگی مدل‌ها به مختصاتی که می‌نوشتند، گروه پژوهشی هنگام تولید پاسخ، مختصات را با مقادیر تصادفی جایگزین کرد و پیش از ادامه، حافظه نهان مدل را بازنشانی کرد. برای هر پرسش ۲۰ پاسخ تولید شد. دقت مدل‌های باز موجود در آزمون‌های فضایی و ادراکی عموماً کمتر از یک واحد درصد تغییر کرد، اما افت برخی نتایج شمارش بیشتر بود. این آزمایش حساسیت به مختصات خروجی را می‌سنجد؛ سازوکار استدلال درونی مدل را اثبات نمی‌کند.

آزمایش‌های مصنوعی ردیابی سیم، شمارش و دنبال‌کردن پیکان‌ها توضیحی احتمالی ارائه کردند. در ردیابی سیم بدون برچسب‌های متنی میانی، استدلال با مختصات امتیاز ۶۹٫۳٪ گرفت، در برابر ۲۴٫۴٪ برای استدلال متنی. افزودن برچسب‌ها باعث شد استدلال متنی در هر سه نوع تکلیف از استدلال با مختصات بهتر عمل کند. نویسندگان این نتیجه را شاهدی می‌دانند که مختصات به حفظ ارجاع به اشیا یا مکان‌هایی کمک می‌کند که توصیف یکتای آن‌ها با کلمات دشوار است.

این گروه همچنین BrickVision را معرفی کرد: ۱٬۰۰۰ پرسش با تقسیم برابر میان شناسایی بخش برش‌خورده تصویر، شمارش دقیق، شناسایی موارد تکراری و شناسایی مورد بی‌جفت. در این آزمون، تنظیم دقیق Qwen3.5-9B برای همین تکالیف، با مختصات امتیاز ۸۲٫۹٪ و با استدلال متنی امتیاز ۶۱٫۲٪ به دست داد. GPT-6 Astra در ارزیابی جداگانه ۶۸٫۷٪ گرفت. شرایط آموزش متفاوت است؛ بنابراین این امتیازها برتری در مقایسه‌ای هم‌شرایط را اثبات نمی‌کنند.

یافته‌ها به مدل‌ها و تکالیف منتخب و روش‌های مبتنی بر مختصات محدود می‌شوند. هر گونه آموزشی در آزمایش‌های مصنوعی فقط یک‌بار آموزش دید؛ موضوعی که ارزیابی تغییرپذیری نتایج را محدود می‌کند. BrickVision از صحنه‌های تولیدشده با قواعد برنامه‌نویسی استفاده می‌کند که یک مدل تصویرساز سبک آن‌ها را تغییر داده است؛ ناهماهنگی احتمالی باقی‌مانده با برچسب‌های اصلی امتیازدهی می‌تواند بر نتایج اثر بگذارد و فراوانی آن گزارش نشده است. تفاوت‌های غیرمعنادار برابری عملکرد را اثبات نمی‌کنند و تکرار مستقل پژوهش نیز ارائه نشده است.

تصویر جلد با هوش مصنوعی تولید شده و تصویرسازی مفهومی است؛ مدرک پژوهش نیست.

منابع اصلی

پست این خبر در اینستاگرام