Bukti dan metode

Halaman ini memuat hasil uji model suara kami, data ujinya, dan batasannya.

Suara pada demo panggilan

Nama, jumlah, dan tanggal adalah contoh. Suaranya sintetis, dibuat dengan VoxCPM dari contoh suara OpenSLR 41 dan 44 (Google, CC BY-SA 4.0), bukan suara orang yang menelepon sungguhan. Lafal Sunda dan Jawa belum dicek penutur asli.

Model suara kami sendiri, diuji pada penutur yang belum pernah didengarnya

Kami melatih model pengenal suara bahasa Jawa dan Sunda dari data publik. Penutur dan kalimat di data uji tidak dipakai saat melatih.

Kata yang salah dikenali (WER), lebih rendah lebih baik
Whisper-small tanpa pelatihanSetelah kami latih

Jawa

Rekaman HP (OpenSLR 35, 400 kalimat)

103,5%
23,2%

Rekaman studio (OpenSLR 41, 300 kalimat)

104,1%
22,9%

Kalimat bebas (OpenSLR 35, 262 kalimat)

124,4%
32,3%

Sunda

Kalimat bebas (OpenSLR 36, 153 kalimat)

62,4%
36,5%

Huruf yang salah (CER) setelah dilatih: Jawa 5,7% di rekaman HP dan 7,8% di rekaman studio, Sunda 7,7% pada kalimat bebas. Sebagian kesalahan kata hanya beda satu atau dua huruf, misalnya é ditulis e.

Semua angka berasal dari kalimat yang dibacakan, bukan dari telepon nasabah sungguhan. Angka dari telepon sungguhan baru kami ukur saat pilot. Kalimat bebas tidak mengikuti pola kalimat yang berulang di data latih. Lewat simulasi jalur telepon, WER kalimat bebas menjadi 39,1% untuk Jawa dan 42,8% untuk Sunda. Sepertiga kalimat uji rekaman HP Jawa mengikuti pola kalimat yang juga ada di data latih.

Dengarkan sendiri

Rekaman dari data uji bahasa Jawa (OpenSLR 41). Kalimat dan penuturnya tidak pernah dipakai saat melatih model.

  • Yang diucapkan
    urutan kaping rong puluh yaiku sekolahku
    Whisper tanpa pelatihan
    ឍ
    Model Morfem
    urutan kaping rong puluh yaiku sekolahku
  • Yang diucapkan
    sampo ning rudy hadisuwarno salon sak paket karo pelembape
    Whisper tanpa pelatihan
    samphoun ṅkhru di ḥaṭi ṣuārno ṣalón ṣa ṅkhket ṅkhkara ṅkhkara ṅkhkara ṅkhkara ṅkhkara ṅkhk…
    Model Morfem
    sampo ning rudi hadis warna salon sak paket karo pelembapke
  • Yang diucapkan
    lipene the face shop nyolok nyolok kabeh wernane
    Whisper tanpa pelatihan
    līpnē dēu fēi shèp nǐòlò nǐòlò kāpē hōr nāmī
    Model Morfem
    lippine the face shop nyolok nyolok kabeh wernane
  • Yang diucapkan
    emma roberts njaitna klambi apik gawe buwuh nang rabine kancane
    Whisper tanpa pelatihan
    ema robert jaitnok lambya pee khawe buwoh nang rappini konconi
    Model Morfem
    emma roberts njaitna klambi apik gawe buwuh nang rabine kancane
  • Yang diucapkan
    nggih ndang dipunasahi piringipun mung namung mboten wonten tigang menit
    Whisper tanpa pelatihan
    ghe hindang di puna sahi piringipun mengunameng boten wontan tigaang menit
    Model Morfem
    nggih ndang dipunasahi piringipun mung namung mboten wonten tigang menit

Kata yang dicoret berbeda dari yang diucapkan.

Audio: Google, OpenSLR 41 dan 44 (Kjartansson dkk., 2018; Sodimana dkk., 2018), lisensi CC BY-SA 4.0.