>/BASH

آنتروپیک بازاندیشی آفلاین را برای بهبود حافظه کلود آزمایش می‌کند

آنتروپیک گزارش می‌دهد که بازبینی یادداشت‌های ذخیره‌شده و ساخت ویکی‌های پیونددار در برخی تکالیف اسنادی و بازی به کلود کمک کرده است. نتایج متفاوت بود و ارزیابی‌های شرکت، حافظه بلندمدت قابل‌اعتماد یا صرفه‌جویی خالص در هزینه را اثبات نمی‌کند.

آنتروپیک بازاندیشی آفلاین را برای بهبود حافظه کلود آزمایش می‌کند

آنتروپیک در ۶ نوامبر ۲۰۲۶ گزارش داد که بازبینی آفلاین سوابق یک عامل هوش مصنوعی می‌تواند به اصلاح خطاهای ذخیره‌شده و سازمان‌دهی اطلاعات برای تکالیف آینده کمک کند. این شرکت فرایند یادشده را «رؤیاپردازی» می‌نامد. ارزیابی‌های داخلی آن در برخی موقعیت‌ها مزایایی نشان داد، اما در مواردی نیز ساختارهای مفصل حافظه برتری چندانی نداشتند.

منظور از حافظه در اینجا یادداشت‌هایی است که میان نشست‌ها حفظ می‌شوند و دوباره به‌عنوان زمینه در اختیار مدل قرار می‌گیرند، نه تغییر در پارامترهای آموزش‌دیده مدل. رؤیاپردازی شامل مراجعه دوباره به متن نشست‌ها یا اسناد برای بررسی یادداشت‌ها، اصلاح خطاها و ایجاد صفحات مرجع پیونددار است. تشبیه به خواب، توصیف یک رویکرد مهندسی است؛ این آزمایش‌ها وجود خواب زیستی در هوش مصنوعی را نشان نمی‌دهند.

یکی از ارزیابی‌ها از حدود ۳۵۰٬۰۰۰ فایل داخلی، در مجموع نزدیک به ۴۲۰ میلیون توکن، متعلق به شرکت استینلس استفاده کرد؛ شرکتی که آنتروپیک اعلام کرد در ماه مه خریده است. عامل‌های اوپوس ۵ طی نشست‌های متوالی یک ویکی پیونددار ساختند. در مجموعه‌ای شامل ۲۵ پرسش، پاسخ‌هایی که فقط بر ویکی تکیه داشتند، پس از دو نشست ساخت ویکی ۱۳ درصد معیارهای ارزیابی را برآورده کردند؛ این رقم پس از ۱۲۸ نشست به ۴۸ درصد رسید.

با فراهم بودن جست‌وجوی اسناد در کنار ویکی، امتیازها هم‌زمان با گسترش ویکی از ۵۴ به ۶۱ درصد افزایش یافت؛ امتیاز جست‌وجو به‌تنهایی ۵۳ درصد بود. نتیجه نهایی روش ترکیبی هشت واحد درصد بالاتر از جست‌وجوی تنها بود. آنتروپیک همچنین از مصرف حدود ۲۰٬۰۰۰ توکن کمتر برای هر پرسش خبر داد، اما هزینه کل ساخت و نگهداری ویکی را گزارش نکرد؛ بنابراین صرفه‌جویی خالص همچنان مشخص نیست.

مزایا به نوع تکلیف بستگی داشت. در ارزیابی ۲۴ پرسشی درباره یک ادغام شرکتی، امتیاز استفاده از ویکی در موارد نیازمند ترکیب اطلاعات چند سند، و گاهی قضاوت یا محاسبه، به ۸۷ درصد رسید؛ در برابر ۷۳ درصد برای جست‌وجوی تنها. تعداد موارد این زیرمجموعه اعلام نشد. یکی از تکالیف نگارش متن حقوقی در معیار Harvey LAB بهبود روشنی نشان نداد و در تکلیفی دیگر، حجم ویکی از اسناد اصلی بیشتر شد.

در تکلیفی درباره قراردادهای خرید یک شرکت، اصلاح دستورالعمل ساخت ویکی پوشش واقعیت‌های ارزیابی‌شده را از ۴۱ مورد از ۵۷ مورد، معادل ۷۲ درصد، به ۵۷ مورد از ۵۷ مورد، معادل ۱۰۰ درصد، رساند. این تغییر، ایجاد صفحه جداگانه برای هر قرارداد، اختصاص یک عامل به هر قرارداد و نقل عین عبارت‌ها را با هم ترکیب کرد. چون دستورالعمل‌ها پس از بررسی خطاها تغییر کردند و آزمونی روی داده‌های کنارگذاشته‌شده گزارش نشد، بهبود ممکن است حاصل بهینه‌سازی برای همان تکلیف باشد.

آزمایش‌های دیگر به شکست حافظه پرداختند. در نمونه‌ای از بازی پوکمون رد، بازبینی متن نشست یک یادداشت مکانی اشتباه را اصلاح کرد و کلود توانست به شهر بعدی برسد؛ اجراهای دارای یادداشت اولیه یا بدون حافظه به آنجا نرسیدند. در تکلیف پایگاه داده CL-Bench، هر پرسش در نشستی تازه با دسترسی به یادداشت‌های ماندگار و بازخورد پاسخ صحیح آغاز می‌شد. بنا بر گزارش، دستور دادن به سونت ۴٫۶ برای خواندن یادداشت‌ها و آزمودن فرضیه‌ها امتیاز آن را تقریباً دو برابر کرد، هرچند امتیازهای دقیق در متن ارائه‌شده نبود.

این‌ها نتایج مهندسی گزارش‌شده از سوی شرکت هستند؛ مقاله ارائه‌شده، داوری علمی یا تکرار مستقل نتایج را احراز نمی‌کند. فاصله‌های اطمینان، تعداد کامل اجراها و جزئیات کافی درباره امتیازدهی برای سنجش استحکام آماری ارائه نشده است. نشست‌های متوالی ساخت ویکی و معیارهای متعدد درون هر پرسش، مشاهدات وابسته‌اند و تکرارهای مستقل محسوب نمی‌شوند. سازمان‌دهی آفلاین نیز توان محاسباتی مصرف می‌کند و می‌تواند خطاها را حفظ کند یا خطاهای تازه بسازد. یافته‌ها از آزمایش بیشتر طراحی حافظه پشتیبانی می‌کنند، اما برتری فراگیر یا یادآوری بلندمدت قابل‌اعتماد را اثبات نمی‌کنند.

تصویر جلد با هوش مصنوعی تولید شده و تصویرسازی مفهومی است؛ مدرک پژوهش نیست.

منابع اصلی

پست این خبر در اینستاگرام