مدل‌های زبانی می‌توانند بدون تغییر وزن‌هایشان، قاعده‌ای ناآشنا برای برچسب‌گذاری را از مثال‌های داخل پرامپت استنباط کنند. پژوهشی از اندرو گائو و ویلیام گائو، پژوهشگران دانشگاه استنفورد، سازوکاری درونی را ردیابی کرده که در تکالیف کنترل‌شدهٔ دسته‌بندی جمله از این توانایی پشتیبانی می‌کند: حافظه‌ای در جایگاه توکن‌های برچسب، همراه با سیگنالی مرتبط با تکرار که به فعال‌شدن بازیابی کمک می‌کند.
مقالهٔ «مداری برای یادگیری درون‌متنی» در ۳ نوامبر ۲۰۲۶ در arXiv منتشر شد. وضعیت داوری همتای آن تأیید نشده و بازآزمایی مستقلی نیز ارائه نشده است. آزمایش‌های اصلی Qwen3-4B-Base، SmolLM3-3B-Base و Llama-3.2-3B را عمدتاً با دو دسته و حداکثر ۱۲ مثال بررسی کردند. تکالیف شامل تشخیص احساس، موضوع و تمایز انگلیسی از اسپانیایی بودند و از برچسب‌های دلخواه یا طبیعی استفاده می‌کردند.
پژوهشگران برای آزمودن این محاسبات، فعال‌سازی‌های درونی را میان پرامپت‌های بسیار مشابه جابه‌جا کردند، خروجی سرهای توجه را با مقادیر میانگین آن‌ها جایگزین کردند و بازنمایی‌های درونی را جهت دادند. کنترل‌ها شامل جایگزینی جمله‌هایی از همان دسته و با همان طول، مجموعه‌های تصادفی سرهای توجه با تعداد و لایه‌های یکسان، و جهت‌های تصادفی با شدت برابر بود. مجموعه‌سرهای انتخاب‌شده روی نمونه‌گیری‌های تازه‌ای از همان مجموعه‌های پرامپت ارزیابی شدند.
این مداخله‌ها از توضیحی مبتنی بر حافظهٔ کلید–مقدار پشتیبانی می‌کنند. مدل در هر توکن برچسب، هویت برچسب را به‌عنوان مقدار نگه می‌دارد و سرهای توجه لایه‌های میانی، دستهٔ جملهٔ پیش از آن را به‌عنوان کلید می‌نویسند. سرهای «خوانشگر» در لایه‌های بالاتر، دستهٔ جملهٔ پرسش را با این کلیدها مقایسه و برچسب‌های منطبق را بازیابی می‌کنند. در Qwen، انتقال مقادیر توکن‌های برچسب در لایه‌های ۲۱ تا ۲۹، ۸۶٪ از اثر جابه‌جایی برچسب‌ها را منتقل کرد. تغییر دستهٔ یکی از مثال‌ها، حاشیهٔ شش‌مثالی را ۲٫۸۷ نَت کاهش داد؛ انتقال کلیدهای توکن‌های برچسب در همان لایه‌ها، ۲٫۳۵ نَت از این کاهش را منتقل کرد. حاشیه، ترجیح مدل برای برچسب درست نسبت به گزینهٔ دیگر را می‌سنجد، نه تغییر دقت برحسب واحد درصد.
سیگنال مرتبط با تکرار، عمدتاً توجه خوانشگرها را از محل تجمع توجه در ابتدای پرامپت دور می‌کرد و بازیابی را فعال می‌ساخت. حذف ۱۶ سر تشخیص توکن تکراری، حدود نیمی از این سیگنال را از بین برد؛ منشأ باقی‌مانده روشن نشد. یک مدل سافت‌مکس برازش‌شده، توجه را در پرامپت‌های کنارگذاشته‌شده از برازش با یک مثال برای هر دسته پیش‌بینی کرد؛ میانهٔ خطا در Qwen برابر ۰٫۰۷ و در Llama برابر ۰٫۰۴ بود. این مدل در پرامپت‌های طولانی‌ترِ ۱۸مثالی موفق نبود و خطاها به‌ترتیب به ۰٫۱۵ و ۰٫۱۳ رسیدند.
این نتایج شواهد علّی دربارهٔ محاسبات درونی آزموده‌شده ارائه می‌کنند، اما محدودیت‌های روشنی دارند. مداخله‌های مصنوعی ممکن است حالت‌هایی متفاوت از استنتاج عادی ایجاد کنند. پرامپت‌های ارزیابی از مجموعه‌جمله‌ها و قالب‌های مشترک استفاده می‌کردند؛ این موضوع شواهد تعمیم‌پذیری را محدود می‌کند و ممکن است بازه‌های بوت‌استرپ در سطح پرامپت را خوش‌بینانه کند. نویسندگان از ۴٬۰۰۰ بازنمونه‌گیری بوت‌استرپ استفاده کردند، اما برآورد عدم‌قطعیت برای همهٔ اثرهای گزارش‌شده در متن دیده نمی‌شود. این پژوهش سازوکاری همگانی برای پیروی از دستور، تکالیف طولانی یا قابل‌اعتمادبودن مدل اثبات نمی‌کند؛ همهٔ ادعاهای گسترده‌تر چکیده نیز از روی متن آزمایشی ارائه‌شده قابل ارزیابی نیستند.
تصویر جلد با هوش مصنوعی تولید شده و تصویرسازی مفهومی است؛ مدرک پژوهش نیست.