>/BASH

مدل کوچک گفتار ترکی در دو آزمون از Whisper base و small پیش افتاد

ارزیابی توسعه‌دهنده، نرخ خطای واژه حدود 9 درصد را برای مدل 31.6 میلیون پارامتری ufakzeka-kulak در دو آزمون گفتار خوانده‌شده ترکی گزارش می‌کند. Whisper large-v3 بهتر عمل کرد و گفتار محاوره‌ای همچنان دشوار بود. نتایج در پیش‌چاپی منتشر شده که داوری علمی آن تأیید نشده است.

مدل کوچک گفتار ترکی در دو آزمون از Whisper base و small پیش افتاد

یک مدل کوچک تشخیص گفتار ترکی در آزمون‌هایی که توسعه‌دهنده‌اش انجام داده، در دو محک مستقل از داده‌های آموزش برای گفتار خوانده‌شده، از Whisper base و Whisper small پیش افتاده است. مدل 31.6 میلیون پارامتری ufakzeka-kulak به نرخ خطای واژه نرمال‌شده نزدیک به 9 درصد رسید، هرچند Whisper large-v3 در هر دو آزمون خطای کمتری داشت. سایت فورکان تکه از ufak AI این مدل را در پیش‌چاپی در arXiv شرح داده که در 2 نوامبر 2026 منتشر شده است؛ داوری علمی آن تأیید نشده است.

این مدل با استفاده از NVIDIA NeMo از ابتدا آموزش دیده است. معماری آن یک رمزگذار صوتی FastConformer را با مبدل توکن و مدت‌زمان (TDT)، که توکن‌های متن و مدت‌زمان آن‌ها را پیش‌بینی می‌کند، و یک خروجی کمکی طبقه‌بندی زمانی پیوندگرا (CTC) ترکیب می‌کند. مدل، متن ترکی را با حروف بزرگ و نشانه‌گذاری تولید می‌کند و عددها را به حروف می‌نویسد. نویسنده از انتشار وزن‌ها با مجوز Apache-2.0 و نسخه‌هایی برای چند محیط اجرا خبر می‌دهد که برای پشتیبانی از رونویسی آفلاین در نظر گرفته شده‌اند.

آموزش از 4,977.44 ساعت صدا در قالب 1,023,786 پاره‌گفتار استفاده کرده است؛ بنا بر گزارش، مجوز منابع این داده‌ها استفاده تجاری را مجاز می‌داند. حدود 281 ساعت رونویسی انسانی داشت. برای 4,696 ساعت باقی‌مانده، از زیرنویس بارگذار یا رونویسی ماشینی استفاده شد که با معیار توافق سامانه‌های تشخیص گفتار پالایش شده بود. Whisper large-v3-turbo صداها را رونویسی کرد؛ زیرنویس‌های قابل‌قبول بارگذار حفظ شدند و در موارد دیگر، پذیرش رونویسی ماشینی به توافق با Omnilingual ASR نیاز داشت. این پالایش همچنان می‌تواند خطاهای مشترک دو سامانه را حفظ کند. نویسنده همچنین از حذف موارد دارای تطابق متنی و صوتی با داده‌های ارزیابی خبر می‌دهد، اما افشای ناقص داده‌های آموزشی مدل‌های برچسب‌گذار و Whisper، قطعیت درباره مواجهه قبلی آن‌ها با محتوای آزمون را محدود می‌کند.

انتخاب‌های مربوط به آموزش، نقطه ذخیره مدل و نسخه‌های قابل اجرا بر داده‌های توسعه تکیه داشتند. طبق مقاله، قاعده‌ای که پیش از آموزش برای انتشار تعیین شده بود، ایجاب می‌کرد مدل نهایی در هر دو مجموعه آزمون ترکی FLEURS و Common Voice 27.0 از Whisper base بهتر باشد و بازه‌های 95 درصدی اختلاف زوجی کاملاً به سود مدل جدید قرار گیرند. یک مدل نهایی فقط یک بار آزموده شد و این شرط را گذراند. مقایسه‌ها از نرمال‌سازی یکسان متن ترکی استفاده کردند؛ برای Whisper base و small، در هر مجموعه از تنظیم رمزگشایی دارای عملکرد بهتر استفاده شد. مدل اصلی با رمزگشایی حریصانه TDT در NeMo و دقت float32 ارزیابی شد.

در FLEURS، شامل 743 پاره‌گفتار و 2.61 ساعت صدا، نرخ خطای واژه نرمال‌شده (WER) برابر با 9.21 درصد و بازه 95 درصدی آن 7.92 تا 10.55 درصد بود؛ این نرخ برای Whisper base به 24.61 درصد رسید. در Common Voice، با 11,874 پاره‌گفتار و 14.54 ساعت صدا، WER برابر با 9.16 درصد، با بازه 8.73 تا 9.58 درصد، بود؛ نرخ base برابر با 32.87 درصد بود. در مقایسه با Whisper small، اختلاف زوجی WER در FLEURS برابر با منفی 4.21 واحد درصد، با بازه منفی 5.06 تا منفی 3.40، و در Common Voice برابر با منفی 8.85 واحد درصد، با بازه منفی 9.30 تا منفی 8.43، بود. Whisper large-v3 به‌ترتیب نرخ‌های 6.04 و 7.67 درصد را ثبت کرد؛ آزمون معناداری زوجی در برابر آن گزارش نشده است.

بازه‌ها از 2,000 بازنمونه‌گیری بوت‌استرپ به دست آمدند؛ در صورت وجود شناسه گوینده، نمونه‌ها بر اساس گوینده و در غیر این صورت بر اساس جمله یا قطعه صوتی گروه‌بندی شدند. این بازه‌ها عدم‌قطعیت ناشی از نمونه ارزیابی را نشان می‌دهند، نه تغییرپذیری میان دفعات آموزش؛ مدل منتشرشده با یک بذر تصادفی آموزش دیده است. در شواهد ارائه‌شده، تکرار مستقلی برای این نتایج گزارش‌شده توسط توسعه‌دهنده وجود ندارد. نتایج، عملکرد در شرایط آزموده‌شده را نشان می‌دهند، بدون آنکه ثابت کنند اندازه یا معماری مدل علت این بهبود بوده است.

گفت‌وگوی روزمره به‌مراتب دشوارتر بود. WER در Real-TurnTurk، مجموعه‌ای با تنها شش گوینده، به 38.07 درصد با بازه 32.70 تا 46.40 درصد رسید؛ تقریباً چهار برابر نتایج گفتار خوانده‌شده. در گفتار محاوره‌ای، نرخ بازیابی نقطه پایانی 17.1 درصد و ویرگول 3.1 درصد بود. WER در MediaSpeech برابر با 10.42 درصد، با بازه 10.13 تا 10.73 درصد، بود؛ با این حال، قالب نگارش متن مرجع بخشی از خطاها را ایجاد می‌کند و مستقل فرض کردن قطعه‌ها ممکن است بازه آن را بیش از حد باریک کند. FLEURS نیز شناسه گوینده ندارد. WER نرمال‌شده نشانه‌گذاری، بزرگی و کوچکی حروف و واژه‌های پُرکننده را حذف می‌کند؛ بنابراین ارقام اصلی، کیفیت کامل متن خروجی را نمی‌سنجند.

شرایط صدا و اجرا نیز اثرگذار بود. در FLEURS، فشرده‌سازی Opus با نرخ 6 کیلوبیت بر ثانیه، WER را 5.17 واحد درصد، با بازه 4.58 تا 5.79، افزایش داد. پذیرش نسخه‌های قابل اجرا مستلزم آن بود که WER آن‌ها در داده‌های توسعه حداکثر 0.5 واحد درصد با رمزگشای متناظر NeMo فاصله داشته باشد، اما مسیرهای منتشرشده sherpa-onnx در صدای کم‌بلندی افت بیشتری داشتند. مسیر MLX روی پردازنده مرکزی لینوکس ارزیابی شد و روی تراشه‌های اپل آزموده نشد. فقط زبان ترکی ارزیابی شده و تفکیکی بر اساس ویژگی‌های جمعیتی یا لهجه منطقه‌ای وجود ندارد. مدل به قطعه‌بندی ضبط‌ها به پاره‌گفتار نیاز دارد، گویندگان را از هم جدا نمی‌کند و زمان‌برچسب‌های واژه‌های آن اعتبارسنجی نشده‌اند.

تصویر جلد با هوش مصنوعی تولید شده و تصویرسازی مفهومی است؛ مدرک پژوهش نیست.

منابع اصلی

پست این خبر در اینستاگرام