>/BASH

آموزش آگاه از تجمیع، کیفیت جست‌وجوی بیشتری را با بردارهای کمتر حفظ می‌کند

آزمایشی در هگینگ فیس گزارش می‌دهد که آموزش با بازنمایی‌های فشرده‌شدهٔ اسناد، بازیابی را با بودجهٔ برداری یکسان بهبود داده است. تجمیع با ضریب ۴، معادل ۹۷٫۸٪ از امتیاز بنچمارک مدل در حالت فشرده‌نشده را حفظ کرد؛ اما برای هر روش فقط یک نوبت آموزش انجام شد.

آموزش آگاه از تجمیع، کیفیت جست‌وجوی بیشتری را با بردارهای کمتر حفظ می‌کند

بر اساس آزمایشی که تام آرسن در ۱۱ نوامبر ۲۰۲۶ در وبلاگ هگینگ فیس گزارش کرد، آموزش مدل جست‌وجو برای کار با بازنمایی‌های فشرده‌شدهٔ اسناد می‌تواند به حفظ کیفیت بازیابی هنگام کاهش تعداد بردارها کمک کند. با حدود یک‌چهارم تعداد اولیهٔ بردارهای سند، مدل آموزش‌دیده با آگاهی از تجمیع در NanoBEIR@13 امتیاز ۵۱٫۲۳ گرفت؛ امتیاز مدل با آموزش معمول ۴۹٫۰۳ بود.

مدل‌های بازیابی چندبرداری، اسناد را با چندین بردار توکن وابسته به بافت بازنمایی می‌کنند. در امتیازدهی MaxSim، هر بردار پرس‌وجو قوی‌ترین تطبیق خود را در سند پیدا می‌کند و سپس این امتیازها جمع می‌شوند. این روش امکان تطبیق مفاهیم مختلف پرس‌وجو با بخش‌های مختلف سند را فراهم می‌کند، اما ذخیرهٔ بردارهای فراوان برای هر سند می‌تواند نمایه‌ها را بزرگ کند.

در این آزمایش، خوشه‌بندی سلسله‌مراتبی وارد برای ادغام بردارهای مشابه اسناد به کار رفت. هر گروه حاصل با میانگین بردارهایش بازنمایی و دوباره نرمال‌سازی شد؛ بردارهای پرس‌وجو بدون تغییر ماندند. آموزش آگاه از تجمیع به زیان بازیابی از بازنمایی کامل اسناد و بازنمایی تجمیع‌شده با ضریب چهار وزن برابر داد. یک برآوردگر گذر مستقیم، گرادیان‌ها را به بردارهای توکن عضو هر گروه منتقل کرد، بدون آنکه از تصمیم‌های گسستهٔ تخصیص خوشه مشتق بگیرد.

آرسن دو مدل ModernBERT-base را با لایه‌های نگاشت تازهٔ توکن به ۱۲۸ بُعد، طی یک دور کامل روی همان ۱۲۰٬۰۰۰ سه‌تایی MS MARCO آموزش داد. هر دو از بذر تصادفی ۴۲، مقداردهی اولیه و تنظیمات بهینه‌سازی یکسان، سقف ۳۰۰ توکن در آموزش و دسته‌های ۲۵۶تایی با ریزدسته‌های کش‌شدهٔ ۶۴تایی استفاده کردند. پرس‌وجوهای کوتاه به دست‌کم ۳۲ موقعیت توکن گسترش یافتند. تنها تابع زیان آموزش متفاوت بود؛ جست‌وجوی ابرپارامتر گزارش نشد.

ارزیابی، میانگین nDCG@10 را به‌صورت درصد در NanoBEIR@13 اندازه گرفت. این معیار کیفیت رتبه‌بندی میان ۱۰ نتیجهٔ نخست را می‌سنجد. تجمیع با ضریب چهار، میانگین تعداد بردارهای سند را از ۱۹۳٫۲۲ به ۴۸٫۶۸ کاهش داد؛ یعنی ۷۴٫۸٪ کاهش. در این بودجه، آموزش آگاه از تجمیع امتیاز را ۲٫۲۰ واحد درصد بهبود داد. نسبت حفظ امتیاز در مقایسه با امتیاز تجمیع‌نشدهٔ خود هر مدل، از ۹۴٫۶٪ به ۹۷٫۸٪ رسید؛ این نسبت با بهبود مطلق نسبت به مدل مبنا متفاوت است. امتیازهای حالت تجمیع‌نشده نیز از ۵۱٫۸۴ به ۵۲٫۳۹ افزایش یافتند.

مدل آگاه از تجمیع در تمام تنظیمات فشرده‌سازی گزارش‌شده امتیاز بالاتری گرفت؛ از جمله سقف‌های ثابت و آستانه‌های تطبیقی که در هدف آموزشی آن حضور نداشتند. در تجمیع تطبیقی با میانگین ۲۹٫۵۸ بردار برای هر سند، امتیاز آموزش معمول ۴۸٫۳۸ و آموزش آگاه از تجمیع ۵۰٫۹۶ بود. مدل دوم با ۸۴٫۷٪ بردار کمتر، ۹۷٫۳٪ از امتیاز حالت تجمیع‌نشدهٔ خود را حفظ کرد.

شواهد به یک نوبت آموزش برای هر روش محدود است و فاصلهٔ اطمینان یا تغییرپذیری ناشی از بذر تصادفی گزارش نشده است. تمام مقایسه‌های فشرده‌سازی از همان دو مدل استفاده می‌کنند. نتایج تجمیعی، امتیاز هر پیکره، تعداد پرس‌وجوها، جزئیات ارزیابی مرتبط‌بودن یا بررسی هم‌پوشانی داده‌های آموزش و ارزیابی را ارائه نمی‌کنند. آستانه‌های تطبیقی جداگانه با استفاده از تعبیه‌های اسناد هر پیکرهٔ ارزیابی برای هر رمزگذار کالیبره شدند و استفاده از برچسب‌های مرتبط‌بودن گزارش نشد؛ عملکرد آستانهٔ منتقل‌شده به پیکره‌ای دیده‌نشده اثبات نشده است.

تعداد بردارها شاخصی جانشین برای فضای ذخیره‌سازی است: اندازهٔ کل نمایه، تأخیر سرتاسری بازیابی و هزینه‌های استقرار در گزارش ارائه‌شده اندازه‌گیری نشده‌اند. نوشته پیوندهای کد و مدل‌های ذخیره‌شده را دارد، اما بازتولیدپذیری مستقل ارزیابی نشده است. این نتایج را نویسنده در یک وبلاگ گزارش کرده و منبع ارائه‌شده نه داوری همتا و نه تکرار مستقل آزمایش را تأیید می‌کند.

تصویر جلد با هوش مصنوعی تولید شده و تصویرسازی مفهومی است؛ مدرک پژوهش نیست.

منابع اصلی

پست این خبر در اینستاگرام