Normalizzazione del Testo e Normalizzazione Inversa del Testo per Penne di Lettura: Numeri, Date e Valute per una Lettura Corretta

Destinatari: Questa nota tecnica è rivolta a responsabili di localizzazione, ingegneri TTS, editori di contenuti e team di approvvigionamento che valutano come una penna di lettura SmartReadingPen OEM/ODM converte numeri scritti, date, valute, abbreviazioni e unità in parole pronunciate in 12 lingue — e come il pipeline inverso trasforma la risposta parlata di un bambino in una forma scritta valutabile.

Una penna di lettura che legge "£24.99" come "sterlina ventiquattro virgola nove nove" invece di "ventiquattro sterline e novantanove centesimi" non è adatta per la vendita al dettaglio nel Regno Unito. Una penna che legge "1923" come "mille novecentoventitré" quando il libro di testo intende "diciannove ventitré" sbaglierà una lezione di storia. La normalizzazione del testo (TN) — conversione della forma scritta in forma parlata — e la sua inversa (ITN) sono la metà poco glamour di ogni pipeline TTS e di classificazione ASR della penna di lettura motore TTS e determinano se la penna suona naturale e classifica in modo equo.

Questa è la nota tecnica sul nostro livello TN/ITN: motori di regole, tabelle locali, casi limite e protocollo di validazione che dovresti eseguire su qualsiasi set di contenuti co-branding con casa editriceContenuto impostato.

1. Perché TN/ITN Non È Risolto dal Solo TTS

Un moderno TTS neurale come il nostro FastSpeech 2 a 24 kHz parlerà felice una stringa numerica grezza come sequenza cifra per cifra se l'input non è pre-elaborato. Il risultato è "uno nove due tre" invece di "diciannove ventitré". Peggio ancora, la classificazione ASR che si aspetta "ventitré" segnerà la risposta corretta parlata come sbagliata.

La soluzione è un livello di normalizzazione bidirezionale che si trova tra l'estrazione del contenuto OID/OCR e il front-end TTS, e tra l'output ASR e il correttore del quiz.

Complessivamente, il livello TN/ITN aggiunge 1,9 MB all'immagine del firmware e 28 ms di latenza per chunk su piattaforma Q8.

2. La Tassonomia delle Forme Scritte

Tra i nostri 12 locali di produzione, le forme scritte rientrano in 14 categorie. Il motore TN deve gestire correttamente ogni categoria, altrimenti l'output TTS suonerà errato.

Ogni categoria ha regole specifiche per locale. Ad esempio, il francese legge "21" come "vingt-et-un" (con trattino) ma legge "81" come "quatre-vingt-un" (senza trattino, base speciale "4×20"). Il mandarino legge "24" come "èr shí sì" (due-dieci-quattro). L'arabo legge "1923" da destra a sinistra con regole separate per centinaia e migliaia.

3. Il Motore di Regole: Trasduttori a Stati Finiti Ponderati

Il motore TN forward è costruito su OpenFST trasduttori a stati finiti ponderati (WFST), uno per locale. Ogni WFST accetta un flusso di caratteri e produce un flusso di fonemi (per TTS) o token di parole (per dati di training ITN). Il conteggio totale delle regole su 12 locale è 184.000 transizioni, con le tabelle più grandi per en-US (32.000), de-DE (28.000), fr-FR (24.000) e ar-SA (22.000).

La precisione più bassa è ja-JP (96,8%) a causa delle molteplici letture dei numeri kanji e dell'uso incoerente di numeri arabi rispetto ai kanji nei libri di testo per bambini. La più alta è en-US (99,2%), ottenuta grazie a 8 anni di raffinamento delle tabelle di regole da Crittografia dei dati della penna lettore TC-035 corpora di test e contenuti dei clienti.

4. Gestione degli anni: la regola 1100–1999

Leggere correttamente gli anni è un mal di testa perenne. La regola per en-US:

• 1100–1999: leggere come due coppie ("mille novecentoventitré") a meno che la seconda coppia non sia 00–09, nel qual caso leggere come "mille novecentotre"
• 2000–2099: leggere come "duemila" o "venti zero sei" (entrambi accettati)
• 1000–1099: leggere come "mille e ventitré"
• Anno ≤ 999: leggere come cardinale ("anno 753")
• Anno ≥ 2100: leggere come coppie cardinali

Un libro di storia del 2024 conteneva 412 riferimenti temporali distinti; il motore TN ha letto correttamente 408 di essi al primo passaggio, ne ha persi 2 (date a.C.) e ha applicato la pronuncia alternativa "venti ventiquattro" per 2 casi ambigui. Dopo 14 giorni di regolazione del JSON di override per editore, il libro di testo è stato letto al 100% correttamente.

5. Gestione della valuta per locale

La valuta è la modalità di errore TN più visibile nel retail. Le regole per locale:

Una penna lettore spedita a un acquirente francofono senza una tabella valuta per locale leggerà erroneamente ogni etichetta prezzo in una libreria per bambini. Chiedete al fornitore il superamento del test valuta prima di firmare.

6. Normalizzazione inversa del testo per la valutazione dei quiz

Quando un bambino risponde a un problema di matematica, la trascrizione ASR torna in forma parlata ("ventiquattro novantanove"), e il valutatore del quiz ha bisogno della forma scritta ("24.99"). Questo è il problema ITN, risolto da un modello di sequence-tagging BERT-tiny da 480 kB che mappa ogni token parlato a una categoria scritta (NUMERO, DECIMALE, VALUTA, DATA, PAROLA, O).

Il modello ITN è addestrato su 2,4 milioni di coppie sintetizzate (forma scritta, forma parlata) nelle 12 località, più 80.000 esempi corretti da esseri umani provenienti dai progetti pilota dei clienti. F1 per località su un test set di 10.000 frasi tenuto da parte:

Il valore più basso è ar-SA (91,6%) a causa della scrittura da destra a sinistra e dell'uso incoerente di cifre e parole. Gli errori ITN sono la seconda causa più comune di valutazione errata dei quiz (falsi negativi), dopo tasso di errore delle parole ASR. La combinazione determina un tasso di errata valutazione dei quiz del 3,2% sulla modalità quiz di matematica.

7. Override per editore

Una co-branding con una casa editrice spesso ha convenzioni numeriche proprietarie. Ad esempio, un editore britannico potrebbe scrivere "£1.2m" per intendere "un virgola due milioni di sterline" mentre la regola predefinita lo legge come "una sterlina e due milioni". Il nostro sistema di override accetta un file JSON per editore, per località, con patch a livello di regola:

{
  "locale": "en-GB",
  "publisher_id": "PH-2026-A",
  "rules": [
    { "pattern": "£([0-9]+)\\.([0-9])m", "spoken": "{1} virgola {2} milioni di sterline" }
  ]
}

Sono accettati fino a 200 override per libro senza penalità di prestazione. La creazione di override è un impegno di 2 settimane con il nostro team di localizzazione, fatturato a $2.800 per editore per località.

8. Casi limite che abbiamo imparato

Dopo oltre 47.000 unità spedite in 47 paesi, i nostri 10 principali casi limite TN sono:

Interessante caso di scrittura mista arabo-indiana: un libro di testo saudita può impiegare le cifre occidentali (0-9) nella prima pagina e le cifre arabo-indiane nella seconda. Il motore TN del nostro lettore rileva automaticamente il tipo di scrittura pagina per pagina, applicando le regole corrette per una lettura senza interruzioni.

9. Prestazioni, Occupazione di memoria e Consumo energetico

Il motore TN funziona solo quando il contenuto viene letto ad alta voce; il motore ITN funziona solo quando viene valutata la risposta a un quiz. Entrambi sono attivati da eventi e non influenzano il budget di ascolto sempre attivo.

10. Personalizzazione OEM e Roadmap

Un co-branding con una casa editrice oppure negozio di souvenir di un museo spesso richiede regole TN personalizzate. I nostri livelli di personalizzazione:

La roadmap 2027 aggiunge TN neurale — un Transformer con 12 M di parametri che sostituisce il motore a regole per i 6 locale a volume più alto (en-US, es-ES, pt-BR, zh-CN, fr-FR, de-DE). Il TN neurale gestisce meglio i casi ambigui (es. "Dr." in "Dr. Smith" vs "Drive") rispetto alle regole, ma aggiunge 4,2 MB e 18 ms di latenza, motivo per cui viene fornito come opt-in per SKU di fascia alta (Q8, T2, Y6).

Letture Correlate

• Spiegazione del Motore TTS Text-to-Speech della Penna Lettura
• Pacchetto Linguistico TTS Multi-Lingua della Penna Lettura
• Riconoscimento Automatico della Voce ASR della Penna Lettura
• Motore di Traduzione Offline e Accuratezza della Penna Lettura
• Caso d'Uso della Penna Lettura: Apprendimento della Geografia
• Caso d'Uso della Penna Lettura: Co-Branding con Editori

11. Contesto di Fabbricazione e Produzione per la Localizzazione TN/ITN

La normalizzazione del testo e la normalizzazione inversa del testo non sono un singolo blob binario — sono un pacchetto di regole per locale più un modello di sequence-tagging che deve essere rivalidato ogni volta che si integra una nuova lingua o un nuovo partner editoriale. Il nostro piano di produzione tratta la localizzazione come una linea di produzione di prima classe con la propria postazione di burn-in e criteri di accettazione.

La linea di localizzazione opera 3 bobine SMT, 2 stazioni AOI e 1 rack di burn-in delle tabelle di regole dedicate al modulo TN/ITN su tutti gli 11 SKU di produzione (B1, B2, F8, K7, KF1, L5, P2, Q6, Q8, T2, Y6). La capacità di flash del firmware giornaliera è 6.400 penne, con picchi di 10.800 penne durante le finestre di lancio editoriale del Q3. Ogni penna abilitata TN/ITN viene validata su un corpus di accettazione di 2.400 espressioni per locale prima del rilascio. Il gate di accettazione combina tre segnali: integrità della tabella di regole (corrispondenza CRC 1,4 MB), corrispondenza SHA del modello ITN e superamento del round-trip TTS end-to-end su il set di test a 12 locale che include "£24,99", "12/03/2026", "1923" e i 47 casi limite riportati dai clienti emersi nel 2024–2025.

L'AQL di localizzazione è AQL II = 1,0 per il passaggio di flash della tabella di regole e AQL II = 0,65 per il passaggio di scrittura del modello ITN. Un singolo locale fallito su una singola pagina SKU esclude l'intera bobina. Throughput per SKU (solo linee abilitate TN/ITN):

Il lead time medio per gli SKU abilitati TN/ITN è 36,5 giorni; gli SKU co-brand editoriale P2 e L5 richiedono più tempo a causa dell'iniezione JSON di override per editore al rack di burn-in.

12. Conformità certificazioni e localizzazione

Il nostro strato TN/ITN viene fornito con documentazione adatta a dossier di due diligence per editori, appalti ministeriali dell'istruzione e verifiche di conformità per importatori:

Il layer TN/ITN è un motore a regole puramente on-device più un tagger BERT-tiny da 480 kB. Nessun dato vocale lascia il dispositivo durante il funzionamento TN o ITN, il che semplifica la documentazione del flusso di dati transfrontalieri per gare d'appunto nel settore dell'istruzione in UE, Regno Unito, USA, Arabia Saudita ed Emirati Arabi Uniti.

13. Prezzi OEM/ODM e compromessi SKU

Un acquirente OEM/ODM SmartReadingPen che prevede di localizzare per uno o più nuovi mercati dovrebbe aspettarsi il seguente schema di prezzi per i moduli TN/ITN. I prezzi sono FOB Shenzhen per un MOQ di 1.000 unità e escludono l'hardware del dispositivo.

Un marchio regionale che vende in un paese dovrebbe prevedere NRE $1.800–$4.200 + royalties per unità $0,04–$0,18, più override per editore a $2.800 ciascuno se il marchio ha un curriculum co-branded. Un editore multinazionale che distribuisce in 6+ localizzazioni dovrebbe aspettarsi NRE $7.800 + royalties per unità $0,18 al MOQ di 1.000 unità, che scende a $0,11 al MOQ di 10.000 unità. I termini di pagamento sono 30% deposito T/T, 70% contro copia B/L; lettera di credito irrevocabile a vista accettata per ordini ≥ $200.000.

14. Metriche di validazione interne e conclusioni ingegneristiche

Su 41.200 penne abilitate TN/ITN spedite tra agosto 2024 e agosto 2026 (Q8 11.400 / T2 9.800 / Y6 6.200 / P2 5.400 / K7 3.800 / KF1 2.400 / F8 1.400 / L5 800), la nostra telemetria di validazione interna mostra:

Punti chiave ingegneristici per acquirenti OEM/ODM che valutano TN/ITN:

1. Il pacchetto locale non è opzionale — una penna spedita in Francia senza le regole valutarie fr-FR non è idonea per la vendita al dettaglio. Verificare che il corpus di accettazione per locale superi i test prima di firmare il PO.
2. La gestione degli anni è la modalità di guasto più visibile — implementare correttamente la regola 1100–1999 altrimenti il libro di storia risulterà errato. Richiedere il set dimostrativo per la gestione degli anni.
3. Gli override per editore chiudono l'ultimo 2–4% — per qualsiasi curriculum co-branded con convenzioni numeriche proprietarie, prevedere la tariffa di authoring di $2.800 per locale.
4. Gli errori ITN si propagano alla valutazione dei quiz — una regressione ITN dell'1% può manifestarsi come un tasso di valutazione errata dei quiz del 3%. Insistere per il punteggio F1 ITN per locale nel report QA.
5. Il TN neurale è opt-in per una ragione — aggiunge 4,2 MB e 18 ms. Solo Q8, T2 e Y6 dispongono del margine; gli SKU più piccoli devono rimanere sulle regole.

Per gli acquirenti pronti a localizzare un curriculum in 4+ locali o ad attivare una nuova lingua, richiedi un preventivo con l'elenco dei locali target, il set di contenuti campione e lo SKU target. Il nostro team di localizzazione restituisce un dettaglio NRE per locale, una timeline per l'authoring degli override e un passaggio del corpus di accettazione campione entro 3 giorni lavorativi.