
بر اساس خلاصه پژوهشی که اپل در ۱۰ نوامبر ۲۰۲۶ منتشر کرده است، توانایی عمومی یک مدل زبانی ممکن است راهنمای چندان مفیدی برای پیشبینی میزان همخوانی آن با قضاوت انسانها درباره نوشتههای شخصیسازیشده نباشد. این پژوهش بررسی میکند که آیا مدلهای مورد استفاده در نقش ارزیاب میتوانند تشخیص دهند یک پاسخ تا چه حد از ترجیح سبکی مشخصی، مانند لحنی پرنشاط، پیروی میکند.
پژوهشگران با چهار مدل زبانی بزرگ برای سه تکلیف نگارش متن بلند، پاسخ تولید کردند. سپس قضاوتهای انسانی درباره بهتر بودن یکی از دو پاسخ را گردآوری و این ترجیحات را با قضاوت مدلها مقایسه کردند. ارزیابی شامل نوع تکلیف نگارشی، ترکیب مدل تولیدکننده و مدل داور، و تفاوت میان دو هدفِ مفید بودن کلی و پیروی از سبک ترجیحی بود. همچنین داوری از طریق مقایسه دوتایی با امتیازدهی مستقل به هر پاسخ مقایسه شد.
نویسندگان گزارش میدهند که کیفیت داوری با توانایی عمومی مدل، بر اساس سنجه MMLU، همبستگی ضعیفی داشت و برای آن ضریب پیرسون ρ ≤ 0.2 را ذکر میکنند. میزان توافق با ارزیابیهای انسانی بسته به تکلیف و معیار ارزیابی متفاوت بود. طبق گزارش، مقایسههای دوتایی ثبات و عملکرد بهتری از امتیازدهی مستقل داشتند؛ با این حال، خلاصه ارائهشده اندازه اثر یا سنجههای دقیق عملکرد را در اختیار نمیگذارد.
مدلهایی که قویترین توصیف شدهاند، قابلاتکاترین مدلها در بازتولید ارزیابیهای انسانی نبودند. نویسندگان احتمال میدهند این مدلها به جزئیات ظریفی که ارزیابان انسانی و مدلهای ضعیفتر نادیده میگیرند، بیش از حد حساس باشند. این توضیح یک فرضیه است، نه یافتهای علّی و اثباتشده. نتایج حاکی از آن است که برای انتخاب ارزیاب نوشته باید توافق آن با انسانها را در تکلیف و معیار مورد نظر سنجید و صرفاً به عملکرد عمومی آن در آزمونهای معیار تکیه نکرد.
شواهد در دسترس، خلاصهای در صفحه پژوهش است، نه گزارش کامل روشها و نتایج. نام و نسخه مدلها، تعریف تکلیفها، اندازه نمونهها، زبان مجموعه داده، ویژگیهای ارزیابان انسانی، نتایج عددی توافق و برآوردهای عدم قطعیت ارائه نشدهاند. میزان توافق میان ارزیابان انسانی، ارزیابی روی دادههای کنارگذاشتهشده و نحوه برخورد با ورودیها و پاسخهای مشترک یا مقایسههای تکراری نیز قابل بررسی نیست. بنابراین، یافتهها از مقایسه در محدوده ارزیابی گزارششده پشتیبانی میکنند، نه از رتبهبندی جهانشمول داوران مبتنی بر مدل زبانی.
صفحه اپل اعلام میکند که مقاله در کارگاه Can We Trust AI Evaluation? در NeurIPS ۲۰۲۶ پذیرفته شده است. مطالب ارائهشده فرایند داوری را شرح نمیدهند و تکرار مستقل نتایج را نیز اثبات نمیکنند.
تصویر جلد با هوش مصنوعی تولید شده و تصویرسازی مفهومی است؛ مدرک پژوهش نیست.