>/BASH

ترنسفورمر بورن از جمع دقیق سهم واژه‌ها خبر می‌دهد؛ با محدودیت‌هایی روی سخت‌افزار کوانتومی

یک پیش‌چاپ arXiv از ترنسفورمری کوچک گزارش می‌دهد که در e-SNLI دقتی هم‌سطح مدل سافت‌مکس مشابه دارد و با ثابت نگه‌داشتن مقادیر نرمال‌سازی، سهم‌هایی برای واژه‌ها تولید می‌کند که جمعشان از نظر ریاضی دقیق است. نتایج نوری شبیه‌سازی شده‌اند و نمایش کوانتومی روی دو جفت جمله، شواهد واژه‌ای قابل‌استفاده‌ای به

ترنسفورمر بورن از جمع دقیق سهم واژه‌ها خبر می‌دهد؛ با محدودیت‌هایی روی سخت‌افزار کوانتومی

ترنسفورمری که بر پایه قاعده بورن طراحی شده است—قاعده‌ای که دامنه‌های کوانتومی را به احتمال‌های اندازه‌گیری پیوند می‌دهد—می‌تواند یکی از جنبه‌های توضیح مدل را از نظر ریاضی قابل‌بررسی کند. تیرَوات تونگلوی و همکارانش در پیش‌چاپی که ۳ نوامبر ۲۰۲۶ در arXiv منتشر شد، سهم‌هایی برای واژه‌ها گزارش می‌کنند که جمعشان دقیقاً با یک امتیاز تعریف‌شده برای پیش‌بینی برابر است؛ در عین حال، دقت مدل با ترنسفورمر متعارفی با اندازه مشابه برابری می‌کند. داوری همتای این پژوهش تأیید نشده است.

ترنسفورمر بورن، توجه سافت‌مکس و دیگر عملیات غیرخطی استاندارد را با محاسبات مبتنی بر اندازه‌گیری جایگزین می‌کند. توجه از توان چهارمِ قدرمطلق هم‌پوشانی بردارهای پرس‌وجو و کلید استفاده می‌کند که در هر سطر نرمال می‌شود؛ عملیاتی مبتنی بر حاصل‌ضرب نیز جای بخش غیرخطی معمول در شبکه پیش‌خور را می‌گیرد. این مدل به‌صورت کلاسیک آموزش دیده و دارای دو بلوک و ۱٫۵۳ میلیون پارامتر است که حدود ۹۸ هزار مورد آن خارج از تعبیه‌ها قرار دارند.

تضمین توضیح یک شرط مشخص دارد: مخرج‌های نرمال‌سازی باید در مقادیر مربوط به ورودی اصلی ثابت بمانند. در این وضعیت، کمیتی که سهم واژه‌ها برای آن محاسبه می‌شود، به یک چندجمله‌ای از دامنه‌های واژه‌ها تبدیل می‌شود. روش گرادیان‌های انتگرالی به هر واژه سهمی اختصاص می‌دهد و یک قاعده انتگرال‌گیری با ۳۲۴ گره، برای کران درجه استخراج‌شده از نظر ریاضی دقیق است. در ۱٬۰۰۰ جفت جمله آزمایشی، بزرگ‌ترین فاصله عددی گزارش‌شده میان مجموع سهم‌ها و احتمال کلاس پس از کسر سهم آن در حالت بی‌اطلاعی، ۸ × ۱۰^-۱۲ بود. این ویژگی، کامل‌بودن آن تجزیه را تضمین می‌کند، نه یگانه‌بودن توضیح درست یا اهمیت علّی در زبان را. حذف واقعی واژه، مخرج‌ها را دوباره محاسبه می‌کند.

پژوهشگران استنتاج زبان طبیعی را در مجموعه e-SNLI آزمودند: تشخیص اینکه یک فرضیه از جمله مبنا نتیجه می‌شود، با آن تناقض دارد یا نسبت به آن خنثی است. پس از ۲۰ دوره آموزش با سه بذر تصادفی، دقت آزمون مدل بورن ۷۶٫۹۸٪ با انحراف معیار ۰٫۱۷ واحد درصد و دقت مدل پایه سافت‌مکس ۷۶٫۶۲٪ با انحراف معیار ۰٫۳۶ واحد درصد بود. این عدم‌قطعیت‌ها انحراف معیار نمونه‌اند، نه فاصله اطمینان. یک مدل چندجمله‌ای مقایسه‌ای، بدون محدودیت‌های اندازه‌گیری، به دقت ۷۸٫۹۸٪ با انحراف معیار ۰٫۳۱ واحد درصد رسید.

در زیرمجموعه مشترک ۱٬۰۰۰ جفت جمله برای ارزیابی سهم واژه‌ها، حذف واژه‌ای که توضیح مدل بورن در رتبه نخست قرار می‌داد، پیش‌بینی را در ۴۵٪ جفت‌ها تغییر داد. این میزان برای گرادیان‌های انتگرالی قابل‌مقایسه و مبتنی بر احتمال در مدل سافت‌مکس، ۳۲٪ بود. اختلاف گزارش‌شده ۱۳ واحد درصد بود و با بازنمونه‌گیری جفت‌ها و بذرها، فاصله ۹۵درصدی آن به ۱۰ تا ۱۶ واحد درصد رسید. در حدود ۵۳٪ جفت‌ها، دست‌کم یک حذف تک‌واژه‌ای می‌توانست پیش‌بینی بورن را تغییر دهد. میزان هم‌پوشانی شواهد آن با واژه‌های علامت‌گذاری‌شده توسط ارزیابان ۰٫۵۱ بود، در برابر ۰٫۴۶ برای شواهد قابل‌مقایسه سافت‌مکس. توجه بورن در توافق با علامت‌گذاری‌ها حدود ۰٫۵۰ امتیاز گرفت، اما حذف واژه نخست آن فقط در ۳۲٪ موارد پیش‌بینی را تغییر داد؛ نشانه‌ای از اینکه این معیارها ویژگی‌های متفاوتی را می‌سنجند.

در شبیه‌سازی، پیاده‌سازی نوری احتمال‌های مدل را روی ۵۱۲ جفت جمله با اختلاف حداکثر ۲ × ۱۰^-۱۵ بازتولید کرد؛ هیچ دستگاه نوری به نمایش گذاشته نشد. سخت‌افزار کوانتومی IBM هم‌پوشانی‌های توجه را برای دو جفت جمله کوتاه اندازه گرفت و باقی محاسبات به‌صورت کلاسیک انجام شد. پیش‌بینی‌ها و واکنش‌ها به برخی حذف‌های انتخاب‌شده از مدل پیروی کردند، اما شواهد واژه‌ای قابل‌استفاده در پیاده‌سازی سخت‌افزاری حفظ نشد. این کار هیچ برتری کوانتومی را اثبات نمی‌کند.

یافته‌ها به یک مجموعه‌داده و مدل‌های کوچک مربوط‌اند، نه مدل‌های زبانی بزرگ. میان‌برهای موجود در داده‌ها، استفاده از تنها سه بذر آموزش و مقایسه‌های وابسته روی همان جفت‌های ارزیابی، تعمیم‌پذیری را محدود می‌کنند. احتمال‌های بورن حتی به حذف تصادفی واژه‌ها نیز واکنش شدیدتری نشان دادند که مقایسه افت احتمال را پیچیده می‌کند. بنابراین، نتیجه اصلی یک تضمین ریاضی مشروط همراه با آزمون‌های امیدوارکننده روی محک است، نه اثبات اینکه استدلال مدل کاملاً توضیح داده شده است.

تصویر جلد با هوش مصنوعی تولید شده و تصویرسازی مفهومی است؛ مدرک پژوهش نیست.

منابع اصلی

پست این خبر در اینستاگرام