مقایسه را با چه معیارهایی انجام دهیم؟
| معیار | چرا مهم است؟ |
|---|---|
| دقت واژه | اشتباه کمتر در متن عمومی |
| نام و عدد | پرریسکترین خطاها در گزارش و جلسه |
| نویز و لهجه | شرایط واقعی ضبط فارسی |
| سرعت | تجربه کاربر و پردازش فایلهای طولانی |
| هزینه | صرفه اقتصادی برای مصرف مداوم |
نمونه تست استاندارد بسازید
برای مقایسه، یک فایل کوتاه اما واقعی بسازید: ۲ دقیقه گفتار واضح، ۲ دقیقه بخش دارای عدد و نام، و ۱ دقیقه با نویز یا چند گوینده. متن مرجع انسانی تهیه کنید و خروجی هر موتور را با همان متن بسنجید.
پسپردازش به اندازه موتور مهم است
حتی اگر موتور پایه خوب باشد، نقطهگذاری، پاراگرافبندی، اصلاح فاصلهها، خروجی Word و ابزار خلاصهسازی تجربه نهایی را بهتر میکند. برای همین انتخاب سرویس فقط انتخاب مدل نیست؛ کل جریان کار از آپلود تا خروجی و بازبینی اهمیت دارد.
چطور تصمیم بگیریم؟
- فایل واقعی خود را تست کنید.
- خطاهای پرریسک را جداگانه بشمارید.
- زمان ویرایش تا متن قابل استفاده را اندازه بگیرید.
- حریم خصوصی و هزینه را کنار دقت بسنجید.
- برای فایلهای حساس، بازبینی انسانی را حذف نکنید.
نسخه موتور و تنظیمات را ثبت کنید
Whisper یک نام واحد برای همه کیفیتها نیست؛ اندازه مدل، پیادهسازی، سختافزار و تنظیمات بر خروجی اثر میگذارند. Google Speech نیز میتواند به محصولات یا نسخههای متفاوت اشاره کند. مقایسه بدون ثبت نام دقیق سرویس، مدل، زبان و تاریخ آزمون تکرارپذیر نیست. پیش از محاسبه نرخ خطای واژه، رسمالخط فارسی و عددها را به روش یکسان نرمال کنید؛ سپس حذف، اضافه و جایگزینی را نسبت به متن مرجع بشمارید. خطای یک مبلغ حساس را جدا گزارش کنید، حتی اگر میانگین خطای واژه کم باشد.
مثال آموزشی نرخ خطای واژه و محدودیت آن
فرمول رایج WER برابر است با مجموع جایگزینی، حذف و اضافه، تقسیم بر تعداد واژههای متن مرجع. اگر متن مرجع ۱۰۰ واژه داشته باشد و خروجی ۵ جایگزینی، ۲ حذف و ۱ اضافه داشته باشد، WER برابر ۸ درصد است. این مثال ساختگی برای توضیح روش است و نتیجه هیچ موتور خاصی نیست.
پیش از شمارش، قواعد یکسانی برای ی و ک فارسی، نیمفاصله، عدد و نشانهگذاری تعیین کنید و همان قواعد را برای همه خروجیها اجرا کنید. تغییر قواعد بعد از دیدن نتیجه مقایسه را مخدوش میکند. علاوه بر WER، خطای مبلغ، نفی یا نام را جدا گزارش کنید؛ یک واژه اشتباه ممکن است معنای کل جمله را عوض کند. نام دقیق مدل، تاریخ آزمون و تنظیم زبان را کنار نتیجه ثبت کنید تا مقایسه قابل تکرار باشد.