
AWS روشی را برای تشخیص برخی شکلهای فساد خاموش داده درون فرایندهای آموزش توزیعشده هوش مصنوعی و اتصال هشدارهای حاصل به تعویض گره در Amazon SageMaker HyperPod شرح داده است. مطلب فنی این شرکت در ۱۱ نوامبر ۲۰۲۶، آزمایشهایی با تزریق نرمافزاری خطا را گزارش میکند، نه ارزیابی خرابیهای طبیعی سختافزار. منبع ارائهشده، داوری همتا و تکرار مستقل نتایج را اثبات نمیکند.
فساد خاموش زمانی رخ میدهد که سختافزار عددی نادرست اما ظاهراً پذیرفتنی برگرداند، بیآنکه خطایی گزارش کند. در آموزش موازی داده، میانگینگیری گرادیانها میان GPUها میتواند این خطا را به تمام نسخههای مدل منتقل کند، در حالی که وزنهای آنها همچنان یکسان میمانند. بررسیهای یکپارچگی حافظه و انتقال داده ثابت نمیکنند که خود محاسبات حسابی درست بودهاند.
روند پیشنهادی در PyTorch DistributedDataParallel از سه بررسی مکمل استفاده میکند. ابتدا گرادیانها را پیش از میانگینگیری از نظر NaN، بینهایت یا سرریز بررسی میکند و سپس، پیش از اعمال بهروزرسانی، گرادیان میانگینگیریشده را میسنجد. در گامهای زمانبندیشده ممیزی، GPUها ریزدسته داده گره دیگری را دوباره محاسبه میکنند و مقادیر تابع زیان را بیتبهبیت مقایسه میکنند؛ محاسبات قطعی، مقایسه اثرانگشت گرادیانها را نیز ممکن میسازد. پس از بهروزرسانیها، اثرانگشتها نسخههایی از وزنها را شناسایی میکنند که با اکثریت مطلق تفاوت دارند. این امضاهای فشرده نیاز به تبادل کامل تنسورها را برطرف میکنند، اما تطابق اثرانگشتها شاهدی بر یکسانی است، نه اثبات آن.
AWS یک مدل ۹۵۳ میلیون پارامتری را روی چهار نمونه HyperPod مجهز به ۳۲ GPU از نوع NVIDIA H100 آزمایش کرد و میگوید تمام سناریوهای خطا را روی سه نمونه نیز تکرار کرده است. خطاهای تزریقشده بر محاسبات پیشرو، گرادیانهای پسانتشار و وزنهای ذخیرهشده اثر میگذاشتند. در یک مثال، بررسی اجباری وزنها پیش از ذخیره نقطه وارسی، فساد را تشخیص داد و مانع ذخیره شد. غیرفعال کردن این محافظ باعث ذخیره نسخه خراب شد؛ ممیزی با محاسبه مجدد، پنج گام بعد اختلاف را تشخیص داد. تعداد آزمونهای مستقل تزریق خطا و عدمقطعیت نرخهای تشخیص گزارش نشده است.
تکرار بیشتر بررسیها هزینه قابلتوجهی داشت. در اندازهگیری ۱٬۰۰۰ گام متوالی برای هر برنامه بررسی، میانگین زمان هر گام در DDP معمولی ۱۵۷٫۴ میلیثانیه بود. ممیزی قطعی در هر ۱۰۰ گام، همراه با بررسی وزنها در هر ۱۰ گام، این میانگین را به ۱۷۳٫۳ میلیثانیه رساند؛ افزایشی برابر با ۱۰٫۱٪. ممیزی در هر ۱۰ گام میانگین را به ۲۱۱٫۹ میلیثانیه، معادل ۳۴٫۷٪ سربار، افزایش داد. برنامه کمتکرارتر ممکن است تا پیش از تشخیص، اجازه اعمال ۹۹ بهروزرسانی خراب را بدهد؛ مشروط به اینکه خطا پایدار بماند و بر کرنلهای تحت ممیزی اثر بگذارد. عدمقطعیت اندازهگیری زمان گزارش نشده است.
در اجراهای بدون خطا، ۱۵٬۳۲۰ گام ممیزی و ۳٬۰۸۰ بررسی وزن هیچ هشداری ایجاد نکردند. AWS حد بالای تقریبی با اطمینان ۹۵٪ را یک هشدار کاذب در هر ۵٬۱۰۰ گام ممیزی محاسبه کرد. این برآورد به بار کاری آزمایششده و فرضهای نمونهگیری وابسته است؛ همبستگی میان گامها تفسیر آن را محدود میکند. روش سادهترِ تشخیص مقادیر پرت بر پایه نرم گرادیان عملکرد ضعیفی داشت: آستانهای که با ۸۰۰ گام سالم تنظیم شده بود، در ۲۲٬۰۰۰ گام باقیمانده ۱۱ هشدار کاذب ایجاد کرد، در حالی که امتیاز خطاهای با مقدار متناهیِ آزمایششده از ۶٫۹ واحد انحراف مطلق از میانه فراتر نرفت.
شکافهای مهمی باقی است. خطاهای با مقدار متناهی درون عملیات میانگینگیری گرادیان میتوانند از تمام بررسیها عبور کنند و خطای متناهیِ یکباره میان ممیزیها ممکن است تشخیص داده نشود. ممیزیهای قطعی همچنین ممکن است نقصهای محدود به کرنلهای پیشفرض را نبینند. محاسبه مجدد به داده و محاسبات بازتولیدپذیر نیاز دارد و تعیین قابلاعتماد محل خطا مستلزم چیدمان مناسب در دستکم سه گره است. وجود چند GPU معیوب میتواند باعث انتساب نادرست خطا شود. بنابراین، عبور موفق از بررسیها پاک بودن نقطه وارسی را تضمین نمیکند.
برای بازیابی، AWS توصیه میکند فرایند آموزش متوقف شود، زمانبندی کار جدید روی گرههای مشکوک مسدود شود، دادههای پایش بازبینی شوند و هشدارهای مبهم پیش از تعویض گره بررسی شوند. سالم بودن شاخصهای سختافزاری، فساد خاموش را رد نمیکند. آموزش باید از نقطه وارسی پیش از آغاز بازه مشکوک از سر گرفته شود؛ این نقطه باید روی فضای ذخیرهسازی مشترک باشد، زیرا تعویض گره، حجمهای ذخیرهسازی محلی را از بین میبرد. AWS توصیه میکند تا زمانی که کاربران دقت روش را روی بار کاری خود مشخص نکردهاند، تعویض گره در محیط عملیاتی با تأیید انسانی انجام شود. این ارزیابی، میزان موفقیت بازیابی در محیط عملیاتی یا بهبود کیفیت نهایی مدل را کمّی نمیکند.
تصویر جلد با هوش مصنوعی تولید شده و تصویرسازی مفهومی است؛ مدرک پژوهش نیست.