دقت بالای یک مدل زبانی در محاسبات فیزیک پزشکی لزوماً آن را به بررسی‌کننده‌ای قابل‌اعتماد برای کار دیگران تبدیل نمی‌کند. این یکی از یافته‌های اصلی MedPhysBench است؛ معیار ارزیابی‌ای که عمر نصرت در پیش‌چاپی منتشرشده در arXiv در ۳ نوامبر ۲۰۲۶ شرح داده است. داوری همتای این پژوهش تأیید نشده و ارزیابی آن پیامدهای بیماران را نمی‌سنجد و آمادگی برای استفاده بالینی را اثبات نمی‌کند.
این تمایز اهمیت دارد، زیرا خطاهای کالیبراسیون پرتو یا محاسبات درمان می‌توانند به‌طور نظام‌مند بر دوز پرتوی تحویلی اثر بگذارند. MedPhysBench تولید پاسخ عددی را از بررسی کاربرگ محاسباتی یا نتیجه نهایی یک همکار جدا می‌کند.
ده مولد مبتنی بر بذر، مسئله‌هایی در پرتودرمانی، تصویربرداری تشخیصی، پزشکی هسته‌ای و حفاظت پرتویی، در سه سطح دشواری می‌سازند. پاسخ‌های مرجع از کد مبتنی بر پروتکل‌ها به دست می‌آیند. یک ارزیاب قطعی واحدها را تبدیل می‌کند و بسته به تکلیف، دامنه تحملی از ۰٫۵٪ تا ۲٪ اعمال می‌کند. امتیازدهی کاربرگ مستلزم شناسایی نخستین گام اشتباه است؛ مقایسه کشف خطا میان قالب‌های بررسی تنها بر حکم درست یا نادرست بودن تکیه دارد.
نویسنده در اکتبر ۲۰۲۶ دوازده مدل را از طریق Prime Inference ارزیابی کرد. مجموعه آزمون کنارگذاشته‌شده شامل ۶۰۰ مسئله محاسباتی، ۳۰۰ بررسی کاربرگ و ۳۰۰ بررسی صرفاً نتیجه بود. GPT-6 Astra و Claude Fable 5.1 نیمی از این مجموعه را با نمونه‌گیری طبقه‌بندی‌شده و ازپیش‌تعیین‌شده دریافت کردند. مدل‌ها بدون ابزار و با تنظیمات پیش‌فرض ارائه‌دهنده پاسخ دادند و برای هر مورد یک پاسخ امتیاز گرفت. دو قالب بررسی از موارد پایه یکسان استفاده می‌کردند که به‌طور برابر میان محاسبات درست و محاسبات دارای یک خطای تعبیه‌شده تقسیم شده بودند.
دقت محاسباتی گزارش‌شده از ۳۳٫۳٪ تا ۱۰۰٫۰٪ بود. چهار مدل امتیاز ۹۹٫۳ تا ۱۰۰٫۰٪ گرفتند و آزمون‌های زوجی تعدیل‌شده میان این چهار مدل تفاوت معناداری نشان ندادند. بااین‌حال، بازبینی نُه پاسخ آن‌ها که نادرست ارزیابی شده بود، پنج خطای مدل و چهار پاسخ مطابق با گزارش شماره ۱۵۱ شورای ملی حفاظت و اندازه‌گیری پرتو آمریکا، NCRP، یافت؛ در مواردی که معیار ارزیابی قاعده‌ای را نادرست بیان کرده یا فرضی را نامشخص گذاشته بود. در مجموع، دوازده پاسخ محاسباتی ردشده از شش مدل با آن گزارش مطابقت داشتند.
در مدل‌های پایین‌تر از گروه پیشتاز، ضعف‌ها اغلب در دشوارترین تکالیف متمرکز بودند. Claude Sonnet 5.5 در ۱۹ مورد از ۲۰ محاسبه واحد مانیتور با هندسه ایزوسنتریک، تصحیح قانون عکس مجذور فاصله را حذف کرد. آزمون پیگیری با تلاش استدلالی بالا این تعداد را به ۱۴ مورد از ۲۰ مورد کاهش داد؛ اما خطایی نظام‌مند باقی ماند که امتیاز کلی مدل می‌توانست آن را پنهان کند.
پنج مدل در هر دو قالب بررسی، دست‌کم ۹۶٫۷٪ خطاهای تعبیه‌شده را با حداکثر ۴٪ هشدار کاذب کشف کردند. خطاهای تعبیه‌شده عمدتاً بزرگ بودند. در میان هفت مدل دیگر، نمایش صرفاً نتیجه نهایی برای چهار مدل، طبق آزمون‌های تعدیل‌شده با روش هولم، هشدارهای کاذب را به‌طور معناداری افزایش داد.
یک آزمون پیگیری اکتشافی، حذف تصحیح عکس مجذور فاصله را در ۲۰ مورد عمومی بررسی کرد. سه مدل پیشتاز تمام خطاهای تعبیه‌شده در کاربرگ‌ها را یافتند، اما سه مدل ضعیف‌تر ۱۶ تا ۱۸ کاربرگ معیوب را پذیرفتند. Claude Opus 5.5 شش نتیجه نهایی نادرست را پذیرفت، با اینکه این تصحیح را در هر ۲۰ محاسبه خودش اعمال کرده بود. این آزمون هدفمند پس از مشاهده نتایج اصلی انتخاب شد و نمی‌تواند نرخ عمومی شکست را برآورد کند.
محدودیت‌ها فراتر از رفتار مدل‌هاست. این تکالیف مصنوعی و صرفاً متنی‌اند و ورودی‌هایشان از پیش ارائه می‌شود؛ بنابراین بررسی مستقل بالینی محسوب نمی‌شوند. امتیازدهی پاسخ نهایی ممکن است تخطی از پروتکل در محدوده تحمل یا خطاهایی را که اثر یکدیگر را خنثی می‌کنند، نبیند. پیاده‌سازی‌های مرجع از مشخصات مشترکی استفاده می‌کردند که با کمک دستیار برنامه‌نویسی هوش مصنوعی تدوین شده بود؛ توافق آن‌ها انطباق با اسناد مرجع را اثبات نمی‌کند.
همچنین، توازن موارد درست و غلط در آزمون نشان نمی‌دهد هشدارها در محیطی که خطاهای واقعی نادرند چقدر مفید خواهند بود. یافته‌ها از ارزیابی جداگانه محاسبه و بررسی در تکالیف مشخص پشتیبانی می‌کنند، درحالی‌که مسئولیت بالینی بر عهده فیزیک‌پزشکان واجد صلاحیت باقی می‌ماند.
تصویر جلد با هوش مصنوعی تولید شده و تصویرسازی مفهومی است؛ مدرک پژوهش نیست.