Normalisasi Teks Pen Baca dan Normalisasi Teks Songsang: Nombor, Tarikh, dan Mata Wang yang Sebagaimana Mestinya Dibaca

Khalayak: Ringkasan kejuruteraan ini ditulis untuk ketua penyetempatan, jurutera TTS, penerbit kandungan, dan pasukan perolehan yang menilai cara pen baca SmartReadingPen OEM/ODM menukar nombor bertulis, tarikh, mata wang, singkatan dan unit kepada perkataan yang dituturkan merentasi 12 bahasa — dan cara saluran songsang menukar jawapan bertutur kanak-kanak kembali kepada bentuk bertulis yang boleh dinilai.

Pen baca yang membaca "£24.99" sebagai "pound twenty-four point nine nine" dan bukannya "twenty-four pounds and ninety-nine pence" tidak layak untuk runcit UK. Pen yang membaca "1923" sebagai "one thousand nine hundred twenty-three" apabila buku teks maksudkan "nineteen twenty-three" akan membuatkan pelajaran sejarah menjadi salah. Normalisasi teks (TN) — menukar bentuk bertulis kepada bentuk pertuturan — dan songsangnya (ITN) adalah separuh yang kurang glamor daripada setiap enjin TTS pen baca dan saluran gredan ASR, dan ia menentukan sama ada pen itu berbunyi semula jadi dan menilai secara adil.

Ini ialah ringkasan kejuruteraan untuk lapisan TN/ITN kami: enjin peraturan, jadual tempat, kes tepi, dan protokol pengesahan yang patut anda jalankan pada mana-mana set kandungan jenama bersama rumah penerbitanset kandungan.

1. Mengapa TN/ITN Tidak Dapat Diselesaikan oleh TTS Sahaja

TTS neural moden seperti FastSpeech 2 24 kHz kami dengan senang hati menyebut rentetan nombor mentah sebagai jujukan digit demi digit jika input tidak diproses terlebih dahulu. Hasilnya ialah "one nine two three" dan bukannya "nineteen twenty-three". Lebih teruk, gredan ASR yang menjangka "twenty-three" akan menandakan jawapan betul yang dituturkan sebagai salah.

Pembetulannya ialah lapisan normalisasi dwiarah yang duduk antara pengekstrakan kandungan OID/OCR dan hujung hadapan TTS, serta antara output ASR dan penggred kuiz.

Bersama-sama lapisan TN/ITN menambah 1.9 MB pada imej firmware dan 28 ms latensi setiap cebisan pada platform Q8.

2. Taksonomi Bentuk Bertulis

Merentasi 12 tempat pengeluaran kami, bentuk bertulis terbahagi kepada 14 kategori. Enjin TN mesti mengendalikan setiap kategori dengan betul atau output TTS berbunyi salah.

Setiap kategori mempunyai peraturan khusus mengikut locale. Sebagai contoh, bahasa Perancis membaca "21" sebagai "vingt-et-un" (dengan tanda hubung) tetapi membaca "81" sebagai "quatre-vingt-un" (tiada tanda hubung, asas khas "4×20"). Bahasa Mandarin membaca "24" sebagai "èr shí sì" (dua-puluh-empat). Bahasa Arab membaca "1923" dari kanan ke kiri dengan peraturan berasingan untuk ratusan dan ribuan.

3. Enjin Peraturan: Transduser Keadaan Terhingga Berpemberat

Enjin TN ke hadapan dibina daripada OpenFST transduser keadaan terhingga berpemberat (WFST), satu untuk setiap locale. Setiap WFST menerima aliran aksara dan mengeluarkan aliran fonem (untuk TTS) atau token perkataan (untuk data latihan ITN). Jumlah bilangan peraturan merentasi 12 locale ialah 184,000 transisi, dengan jadual terbesar untuk en-US (32,000), de-DE (28,000), fr-FR (24,000), dan ar-SA (22,000).

Ketepatan paling rendah ialah ja-JP (96.8%) disebabkan oleh pelbagai pembacaan numeral kanji dan penggunaan numeral Arab berbanding kanji yang tidak konsisten dalam buku teks kanak-kanak. Yang tertinggi ialah en-US (99.2%), didorong oleh 8 tahun penambahbaikan jadual peraturan daripada TC-035 reading pen data encryption korpus ujian dan kandungan pelanggan.

4. Pengendalian Tahun: Peraturan 1100–1999

Membaca tahun dengan betul adalah masalah yang berterusan. Peraturan untuk en-US:

• 1100–1999: dibaca sebagai dua pasang ("nineteen twenty-three") melainkan pasangan kedua ialah 00–09, dalam hal ini dibaca sebagai "nineteen hundred and three"
• 2000–2099: dibaca sebagai "two thousand" atau "twenty oh-six" (kedua-dua diterima)
• 1000–1099: dibaca sebagai "one thousand and twenty-three"
• Tahun ≤ 999: dibaca sebagai kardinal ("year 753")
• Tahun ≥ 2100: dibaca sebagai pasangan kardinal

Sebuah buku teks sejarah 2024 mengandungi 412 rujukan tahun yang berbeza; enjin TN kami membaca 408 daripadanya dengan betul pada laluan pertama, terlepas 2 (tarikh SM), dan menggunakan sebutan alternatif "twenty twenty-four" untuk 2 kes yang samar. Selepas 14 hari penalaan JSON override setiap-penerbit, buku teks itu dibaca 100% dengan betul.

5. Pengendalian Mata Wang Mengikut Locale

Mata wang adalah mod kegagalan TN yang paling ketara dalam runcit. Peraturan mengikut locale:

Sebatang pen baca yang dihantar kepada pembeli berbahasa Perancis tanpa jadual mata wang setiap-locale akan membaca setiap tag harga secara salah di kedai buku kanak-kanak. Minta vendor menunjukkan lulus ujian mata wang sebelum menandatangani kontrak.

6. Normalisasi Teks Terbalik untuk Penilaian Kuiz

Apabila seorang kanak-kanak menjawab soalan matematik, transkrip ASR kembali dalam bentuk sebutan ("twenty-four ninety-nine"), dan penilai kuiz memerlukan bentuk bertulis ("24.99"). Inilah masalah ITN, diselesaikan oleh model penandaan jujukan BERT-tiny 480 kB yang memetakan setiap token sebutan kepada kategori bertulis (NOMBOR, PERPULUHAN, MATA WANG, TARIKH, PERKATAAN, O).

Model ITN dilatih menggunakan 2.4 juta pasangan sintesis (bentuk tulisan, bentuk sebutan) merentasi 12 locale, ditambah 80,000 contoh yang dibetulkan manusia daripada perintis pelanggan. F1 setiap locale pada set ujian tertahan 10,000 sebutan:

Yang terendah ialah ar-SA (91.6%) disebabkan oleh skrip kanan-ke-kiri dan penggunaan digit berbanding perkataan yang tidak konsisten. Ralat ITN merupakan penyebab kedua paling lazim bagi penggredan kuiz palsu-negatif, selepas kadar ralat perkataan ASR. Gabungan ini mendorong kadar salah penggredan kuiz keseluruhan sebanyak 3.2% pada mod kuiz matematik.

7. Override Setiap-Penerbit

Sebuah jenama bersama rumah penerbitan selalunya mempunyai konvensi nombor proprietari. Sebagai contoh, penerbit UK mungkin menulis "£1.2m" untuk bermaksud "one point two million pounds" manakala peraturan lalai membacanya sebagai "one pound two million". Sistem override kami menerima fail JSON setiap penerbit, setiap locale, dengan tampalan peringkat peraturan:

{
  "locale": "en-GB",
  "publisher_id": "PH-2026-A",
  "rules": [
    { "pattern": "£([0-9]+)\\.([0-9])m", "spoken": "{1} point {2} million pounds" }
  ]
}

Sehingga 200 override setiap buku diterima tanpa penalti prestasi. Pengarang override merupakan tugasan 2 minggu dengan pasukan penterjemahan kami, dibilkan pada kadar $2,800 setiap penerbit setiap locale.

8. Kes Tepi Yang Telah Kami Pelajari

Selepas 47,000+ unit dihantar merentasi 47 negara, 10 kes tepi TN teratas kami ialah:

Kes bercampur antara Arab-indik adalah menarik: sebuah buku teks Arab Saudi mungkin menggunakan digit Barat (0–9) di halaman 1 dan digit Arab-indik (٠–٩) di halaman 2. Enjin TN mesti mengesan skrip mengikut halaman, bukan mengikut buku, dan menggunakan jadual peraturan yang betul.

9. Prestasi, Jejak, dan Kuasa

Enjin TN hanya berjalan apabila kandungan dibaca dengan kuat; enjin ITN hanya berjalan apabila jawapan kuiz sedang dinilai. Kedua-duanya dipicu oleh acara dan tidak menjejaskan bajet dengar yang sentiasa aktif.

10. Penyesuaian OEM dan Peta Jalan

Sebuah rumah penerbitan dengan jenama bersama atau kedai cenderamata muzium sering mahukan peraturan TN tersuai. Tahap penyesuaian kami:

Pelan hala tuju 2027 menambah neural TN— Transformer 12 M parameter yang menggantikan enjin peraturan untuk 6 tempat penyetempatan paling tinggi volumen (en-US, es-ES, pt-BR, zh-CN, fr-FR, de-DE). TN Neural mengendalikan kes kabur (cth., "Dr." dalam "Dr. Smith" berbanding "Drive") dengan lebih baik daripada peraturan, tetapi menambah 4.2 MB dan kependaman 18 ms, sebab itu ia dihantar sebagai pilihan-opt-in untuk SKU kelas atasan (Q8, T2, Y6).

Bacaan Berkaitan

• Penjelasan Enjin TTS Text-to-Speech Pen Bacaan
• Pek Bahasa TTS Pelbagai Bahasa Pen Bacaan
• ASR Pengecaman Pertuturan Automatik Pen Bacaan
• Enjin Terjemahan Luar Talian Pen Bacaan dan Ketepatannya
• Kes Penggunaan Pen Bacaan Pembelajaran Geografi
• Kes Penggunaan Pen Bacaan Co-Brend Rumah Penerbitan

11. Latar Belakang Kilang & Pengeluaran untuk Penyesuaian TN/ITN

Normalisasi teks dan penyongsangan normalisasi teks bukan satu blob binari tunggal — ia ialah pek peraturan setiap locale ditambah model penanda jujukan yang mesti disahkan semula setiap kali kami menerima bahasa baharu atau rakan penerbitan baharu. Lantai kilang kami menganggap penyesuaian locale sebagai barisan pengeluaran kelas pertama dengan bangku burn-in dan kriteria penerimaannya sendiri.

Barisan penyesuaian locale mengendalikan 3 gulungan SMT, 2 stesen AOI, dan 1 rak burn-in jadual peraturan khusus untuk modul TN/ITN merentasi semua 11 SKU pengeluaran (B1, B2, F8, K7, KF1, L5, P2, Q6, Q8, T2, Y6). Throughput kilat firmware harian ialah 6,400 pen, memuncak pada 10,800 pen semasa tetingkap rollout penerbit Q3. Setiap pen berdaya TN/ITN disahkan terhadap korpus penerima setiap locale 2,400 ujaran sebelum pengeluaran bin. Get penerimaan menggabungkan tiga isyarat: integriti jadual peraturan (padanan CRC 1.4 MB), padanan SHA model ITN, dan lulus pusingan penuh TTS hujung-ke-hujung pada set ujian 12 locale yang merangkumi "£24.99", "12/03/2026", "1923", dan 47 kes tepi yang dilaporkan pelanggan yang muncul pada 2024–2025.

AQL penyesuaian locale ialah AQL II = 1.0 untuk langkah kilat jadual peraturan dan AQL II = 0.65 untuk langkah tulis model ITN. Satu kegagalan locale pada satu SKU akan membinkan keseluruhan gulungan. Throughput mengikut SKU (barisan berdaya TN/ITN sahaja):

Purata masa pendahuluan merentasi SKU yang didayakan TN/ITN ialah 36.5 hari; SKU co-brand penerbitan P2 dan L5 memakan masa lebih lama kerana suntikan JSON override setiap penerbit di rak burn-in.

12. Pensijilan & Pematuhan Tempatan

Lapisan TN/ITN kami dihantar bersama dokumentasi yang sesuai untuk pakej due-diligence penerbit, perolehan kementerian pendidikan, dan tinjauan pematuhan pengimport:

Lapisan TN\/ITN ialah enjin peraturan tulen pada peranti ditambah penanda BERT-tiny 480 kB.Tiada data suara meninggalkan peranti semasa operasi TN atau ITN, yang memudahkan dokumentasi aliran data rentas sempadan untuk tender pendidikan EU, UK, US, KSA dan UAE.

13. Pertukaran Harga OEM\/ODM & SKU

Pembeli OEM\/ODM SmartReadingPen yang merancang untuk menyesuaikan diri bagi satu atau lebih pasaran baharu harus menjangkakan corak harga berikut untuk modul TN\/ITN. Harga adalah FOB Shenzhen untuk MOQ 1,000 unit dan tidak termasuk perkakasan peranti.

Sebuah jenama serantau yang menjual ke satu negara perlu merancang untuk NRE $1,800–$4,200 + royalti setiap unit $0.04–$0.18, selain tindihan setiap penerbit pada $2,800 setiap satu jika jenama mempunyai kurikulum bersama jenama. Sebuah penerbit multinasional yang membekalkan merentasi 6+ lokasi harus menjangkakan NRE $7,800 + royalti setiap unit $0.18 pada MOQ 1,000 unit, menurun kepada $0.11 pada MOQ 10,000 unit. Terma pembayaran ialah deposit T\/T 30%, baki 70% terhadap salinan B\/L; L\/C tidak boleh dibatalkan pada pandangan diterima untuk pesanan ≥ $200,000.

14. Metrik Pengesahan Dalaman & Pengajaran Kejuruteraan

Merentasi 41,200 pen berkemampuan TN\/ITN yang dihantar antara 2024-08 dan 2026-08 (Q8 11,400 \/ T2 9,800 \/ Y6 6,200 \/ P2 5,400 \/ K7 3,800 \/ KF1 2,400 \/ F8 1,400 \/ L5 800), telemetri pengesahan dalaman kami menunjukkan:

Pengajaran kejuruteraan untuk pembeli OEM/ODM yang menilai TN/ITN:

1. Pek locale bukan pilihan — sebatang pen yang dihantar ke Perancis tanpa peraturan mata wang fr-FR tidak layak untuk runcit. Sahkan korpus penerimaan setiap-locale lulus sebelum menandatangani PO.
2. Pengendalian tahun adalah mod kegagalan paling ketara — pastikan peraturan 1100–1999 betul atau buku teks sejarah akan dibaca secara salah. Minta set demo pengendalian tahun.
3. Override setiap-penerbit menutup 2–4% terakhir — untuk mana-mana kurikulum bersama-tandatangan dengan konvensi nombor proprietari, bajakan yuran pengarangan $2,800 setiap locale.
4. Ralat ITN merebak ke penggredan kuiz — regresi ITN 1% boleh muncul sebagai kadar salah gred kuiz 3%. Tegaskan F1 ITN setiap-locale dalam laporan QA.
5. TN Neural ialah opt-in atas sebab tertentu — menambah 4.2 MB dan 18 ms. Hanya Q8, T2, dan Y6 mempunyai kepalaan; SKU yang lebih kecil mesti kekal pada peraturan.

Untuk pembeli yang sedia melokalkan kurikulum merentasi 4+ locale atau untuk mengambil bahasa baharu, minta sebut harga dengan senarai locale sasaran, set kandungan sampel, dan SKU sasaran. Pasukan penyetempatan kami mengembalikan pecahan NRE setiap-locale, garis masa pengarangan override, dan laluan korpus penerimaan sampel dalam 3 hari bekerja.