پاسخ‌های قبلاً تولیدشده هوش مصنوعی ممکن است به ارزیابان کمک کنند امتیاز آزمون‌ها را حتی زمانی برآورد کنند که مدل‌ها به پرسش‌های متفاوتی پاسخ داده‌اند. هایدن هلم و همکارانش در پیش‌چاپی که 2 نوامبر 2026 در arXiv منتشر شد، از بهبود پیش‌بینی‌ها در دو مجموعه آزمون با استفاده از «فضای پرسپکتیو هسته حاصل‌ضربی» یا PKPS خبر می‌دهند. داوری همتا تأیید نشده و تکرار مستقلی از پژوهش ارائه نشده است.
این رویکرد دو مسئله را هدف می‌گیرد: برآورد امتیاز کل یک تکلیف از روی چند پاسخ، و پیش‌بینی امتیاز مدل در تکلیفی که هیچ پرسشی از آن را پاسخ نداده، با استفاده از پاسخ‌هایش در تکالیف دیگر. برخلاف روش‌هایی که به پرسش‌های یکسانِ پاسخ‌داده‌شده توسط چند مدل محدود هستند، PKPS مقایسه میان پاسخ‌ها را بر اساس میزان شباهت پرسش‌های آن‌ها وزن‌دهی می‌کند.
پژوهشگران پرسش‌ها و پاسخ‌ها را با gemini-embedding-001 به بردارهای 3,072بعدی تبدیل کردند، ابعاد آن‌ها را جداگانه با تحلیل مؤلفه‌های اصلی کاهش دادند و بازنمایی‌هایی هشت‌بعدی از مدل‌ها ساختند. سپس یک مدل رگرسیون مبتنی بر پنج نزدیک‌ترین همسایه، امتیاز آزمون‌ها را پیش‌بینی کرد. پهنای باند هسته پرسش و وزن روش‌های ترکیبی از طریق اعتبارسنجی متقاطع انتخاب شد؛ این روش‌ها PKPS را با امتیاز نمونه یا تکمیل ماتریس کم‌رتبه، موسوم به LRMC، ترکیب می‌کردند.
آزمایش‌ها از زیرمجموعه‌های منتخب با پوشش کامل در HELM-Lite، شامل 93 مدل و 18 تکلیف، و Every Eval Ever، شامل 45 مدل و 16 تکلیف، استفاده کردند. گروه پژوهش برای کنترل پوشش و هم‌پوشانی پرسش‌ها، بخشی از مشاهدات را عمداً پنهان کرد. مدل‌های متعلق به توسعه‌دهنده مدل هدف از آموزش رگرسیون مرجع کنار گذاشته شدند. نتایج با میانگین خطای مطلق یا MAE نسبت به امتیاز ارزیابی کاملِ ذخیره‌شده سنجیده و روی 16 بذر تصادفی زیرنمونه‌گیری میانگین‌گیری شدند.
در HELM، با یک پرسش برای هر جفت مدل–تکلیف و پوشش کامل تکالیف، MAE روش PKPS برابر 0.137 بود؛ در مقابل، امتیاز مستقیم نمونه خطای 0.292 داشت. ترکیب این دو، خطا را به 0.126 کاهش داد. در Every Eval Ever، روش PKPS با یک پرسش به خطای 0.070 رسید؛ کمتر از خطای 0.224 امتیاز نمونه با یک پرسش و خطای 0.081 آن با هشت پرسش. این مقایسه مشخص از کاهش هشت‌برابری بودجه پرسش پشتیبانی می‌کند، نه صرفه‌جویی عمومی در همه شرایط.
برای امتیازهای کاملاً مفقود مدل–تکلیف، با پوشش 50% تکالیف و عمق 50% پرسش‌ها، ترکیب PKPS و LRMC با 10 مدل HELM، خطا را از 0.139 به 0.120 کاهش داد. با هر 93 مدل، خطا از 0.105 به 0.100 رسید، اما تفاوت در سطح تکلیف از نظر آماری معنادار نبود. با هر 45 مدل Every Eval Ever، خطا از 0.096 به 0.069 کاهش یافت؛ یعنی حدود 28% کاهش نسبی خطا.
این بهبودها محدودیت دارند. با افزایش بودجه پرسش، امتیاز مستقیم نمونه سرانجام از روش‌های مستقل مبتنی بر بازنمایی بهتر عمل کرد. برتری نظری نسبت به بازنمایی‌های مبتنی بر پرسش‌های مشترک، مجانبی و مشروط است؛ از جمله به فرض امتیازهای مرجع دقیق، نمونه‌گیری مستقل مدل‌ها و، برای نتایج قوی‌تر، فرض‌هایی درباره هسته‌ها و توزیع پرسش‌ها وابسته است.
پنهان‌سازی کنترل‌شده، الگوی گزینشی فقدان داده در سوابق واقعی ارزیابی را بازتولید نمی‌کند. اشتراک مدل‌ها، تکالیف و احتمالاً تبار مدل‌ها نیز وابستگی ایجاد می‌کند؛ 16 بذر زیرنمونه‌گیری به معنای 16 گروه مستقل از مدل‌ها نیست. عملکرد روی تکالیف جدید یا جمعیت‌های متفاوت مدل‌ها همچنان نامطمئن است. هزینه ساخت بردارها و محاسبات کمّی نشده، بنابراین پرسش‌های کمتر به‌تنهایی کاهش هزینه کل را اثبات نمی‌کند. یافته‌ها به پیش‌بینی امتیاز آزمون در همین ارزیابی‌ها مربوط‌اند، نه قابلیت اتکای گسترده‌تر مدل‌ها.
تصویر جلد با هوش مصنوعی تولید شده و تصویرسازی مفهومی است؛ مدرک پژوهش نیست.