Tóm tắt
Apple thay thế SFSpeechRecognizer bằng cặp API mới SpeechAnalyzer và SpeechTranscriber trên iOS 26/macOS 26. Vì Apple không công bố số liệu accuracy, nhóm Inscribe benchmark API mới với Whisper Tiny/Base/Small và API cũ trên cùng máy, cùng dataset.
Kết quả chính: SpeechAnalyzer đạt WER 2.12% trên LibriSpeech test-clean và 4.56% trên test-other, tốt hơn Whisper Small trong bài đo này. Nó cũng chạy nhanh hơn Whisper Small khoảng 3 lần và không yêu cầu app bundle thêm model hàng trăm MB.
Kết quả benchmark
| Engine | test-clean WER | test-other WER | Model size |
|---|---|---|---|
| Apple SpeechAnalyzer (iOS/macOS 26) | 2.12% | 4.56% | system |
| Whisper Small (WhisperKit CoreML) | 3.74% | 7.95% | ~460MB |
| Whisper Base | 5.42% | 12.51% | ~140MB |
| Whisper Tiny | 7.88% | 17.04% | ~40MB |
| Apple SFSpeechRecognizer legacy | 9.02% | 16.25% | system |
WER là word error rate: càng thấp càng tốt. test-clean gồm 2,620 đoạn speech đọc rõ, còn test-other gồm 2,939 đoạn khó hơn và nhiều nhiễu hơn. Tất cả engine chạy hoàn toàn on-device trên Apple M2 Pro, 32GB RAM, macOS 26.5.1.
Vì sao team này đo
Apple giới thiệu SpeechAnalyzer/SpeechTranscriber nhưng không đưa benchmark accuracy công khai. Với dev đang chọn giữa API hệ thống và Whisper, thiếu số liệu này khiến migration gần như dựa vào cảm giác.
Inscribe có lợi thế là sản phẩm của họ đã ship nhiều engine speech side-by-side: Apple engine cũ, Apple engine mới và ba bản Whisper qua WhisperKit/CoreML. Nhờ vậy, họ chạy được tất cả qua cùng production code path, cùng audio, cùng máy.
Ý nghĩa với dev
Với app iOS/macOS cần speech-to-text, SpeechAnalyzer có ba lợi thế rõ:
- Không tăng bundle size: không phải ship Whisper model 40MB, 140MB hoặc 460MB.
- On-device và riêng tư: audio không cần rời thiết bị.
- Latency tốt hơn trong bài đo này: nhanh hơn Whisper Small khoảng 3 lần.
Điểm cần kiểm chứng lại là domain audio của bạn. LibriSpeech là benchmark sạch và có kiểm soát; call center, meeting nhiều người, tiếng Việt, accent mạnh hoặc audio từ microphone rẻ có thể cho kết quả khác. Migration hợp lý nhất là chạy A/B trên sample thật trước khi bỏ Whisper.
Gợi ý migration
Nếu app đang dùng SFSpeechRecognizer, API cũ có kết quả kém nhất trong benchmark này. Team nên ưu tiên prototype SpeechAnalyzer trên iOS/macOS 26, đo latency và WER bằng audio thật, rồi giữ Whisper làm fallback cho platform cũ hoặc domain chưa đạt yêu cầu.