Normalisering og invers tekstrormalisering i læsepenne: Tal, datoer og valutaer, der læses korrekt

Målgruppe: Dette tekniske brief er skrevet til lokaliseringsansvarlige, TTS-ingeniører, indholdsudgivere og indkøbsteams, der vurderer, hvordan en SmartReadingPen OEM/ODM-læsepen omsætter skrevne tal, datoer, valutaer, forkortelser og enheder til talesprog på tværs af 12 sprog – og hvordan den inverse pipeline omsætter et barns talte svar tilbage til en skreven, bedømmelig form.

En læsepen, der læser "£24.99" som "pound twenty-four point nine nine" i stedet for "twenty-four pounds and ninety-nine pence", er uegnet til britisk detailhandel. En pen, der læser "1923" som "one thousand nine hundred twenty-three", når tekstbogen mener "nineteen twenty-three", giver en forkert historielektion. Tekstnormalisering (TN) – omsætning fra skreven til talt form – og dens inverse (ITN) er den uglamourøse halvdel af enhver læsepens TTS-engine og ASR-bedømmelsespipeline, og de afgør, om pennen lyder naturlig og bedømmer retfærdigt.

Dette er det tekniske brief om vores TN/ITN-lag: regelmotorer, lokalitetstabeller, edge cases og den valideringsprotokol, du bør køre på ethvert publishing house co-brand indholdssæt.

1. Hvorfor TN/ITN ikke løses af TTS alene

En moderne neural TTS som vores 24 kHz FastSpeech 2 vil gladeligt oplæse en rå talstreng som en ciffer-for-ciffer-sekvens, hvis inputtet ikke forbehandles. Resultatet bliver "one nine two three" i stedet for "nineteen twenty-three". Værre er det, at ASR-bedømmelse, der forventer "twenty-three", vil markere det talte korrekte svar som forkert.

Løsningen er et tovejs normaliseringslag der sidder mellem OID/OCR-indholdsekstraktionen og TTS-frontenden, og mellem ASR-outputtet og quiz-bedømmeren.

Samlet tilføjer TN/ITN-laget 1,9 MB til firmwarebilledet og 28 ms ventetid pr. chunk på en Q8-platform.

2. Taksonomien over skrevne former

På tværs af vores 12 produktionslokationer falder skrevne former i 14 kategorier. TN-motoren skal håndtere hver kategori korrekt, ellers lyder TTS-outputtet forkert.

Hver kategori har regler pr. sprog. For eksempel læser fransk "21" som "vingt-et-un" (med bindestreg), men læser "81" som "quatre-vingt-un" (uden bindestreg, speciel "4×20"-base). Mandarin læser "24" som "èr shí sì" (to-ti-fire). Arabisk læser "1923" højre-mod-venstre med særskilte regler for hundred- og tusinder.

3. Regelmaskinen: Vægtede endelige tilstandstransducere

Den forlæns TN-motor er bygget på OpenFST vægtede endelige tilstandstransducere (WFST), én pr. sprog. Hver WFST modtager en strøm af tegn og leverer en strøm af fonemer (til TTS) eller ordtokens (til ITN-træningsdata). Det samlede antal regler på tværs af 12 sprog er 184.000 transitioner, med de største tabeller for en-US (32.000), de-DE (28.000), fr-FR (24.000) og ar-SA (22.000).

Den laveste nøjagtighed er ja-JP (96,8 %) på grund af de mange udtaler af kanji-tal og den inkonsistente brug af arabertal vs. kanji-tal i børnebøger. Den højeste er en-US (99,2 %), drevet af 8 års regeltabelfinpudsning fra TC-035 læsepen datakryptering testkorpora og kundeindhold.

4. Håndtering af årstal: 1100–1999-reglen

Korrekt læsning af årstal er en tilbagevendende hovedpine. Reglen for en-US:

• 1100–1999: læses som to par ("nitten treogtyve") medmindre det andet par er 00–09, i hvilket tilfælde det læses som "nitten hundrede og tre"
• 2000–2099: læses som "to tusind" eller "tyve oh-seks" (begge accepteret)
• 1000–1099: læses som "et tusind og treogtyve"
• Årstal ≤ 999: læses som grundtal ("år 753")
• Årstal ≥ 2100: læses som grundtalspar

En 2024-historiebog indeholdt 412 forskellige årstalsreferencer; vores TN-motor læste 408 af dem korrekt ved første gennemløb, missede 2 (BC-datoer) og anvendte den alternative udtale "tyve tyve-fire" i 2 tvetydige tilfælde. Efter 14 dages finjustering af per-forlag override-JSON'en læste bogen 100 % korrekt.

5. Valutahåndtering pr. landestandard

Valuta er den mest synlige TN-fejltilstand i detailhandlen. Reglerne pr. landestandard:

En læsepen der sendes til en fransktalende køber uden en valutatabel pr. landestandard vil læse alle prismærkater forkert i en børneboghandel. Bed leverandøren om valutatestens godkendelse, før du skriver under.

6. Invers tekstnormalisering til quizbedømmelse

Når et barn svarer på en matematikopgave, returneres ASR-transskriptionen i talt form ("fireogtyve nioghalvfems"), og quizbedømmeren har brug for den skrevne form ("24,99"). Dette er ITN-problemet, løst af en 480 kB BERT-tiny sekvensmærkningsmodel, der knytter hvert talte token til en skreven kategori (NUMBER, DECIMAL, CURRENCY, DATE, WORD, O).

ITN-modellen er trænet på 2,4 millioner syntetiske par (skreven form, talt form) på tværs af de 12 lokaliteter, plus 80.000 menneskekorrigerede eksempler fra kundepilots. F1 pr. lokalitet på et holdout-testsæt med 10.000 ytringer:

Den laveste er ar-SA (91,6%) på grund af det højre-mod-venstre skriftsystem og den inkonsistente brug af cifre versus ord. ITN-fejl er den næsthyppigste årsag til falsk negativ quizbedømmelse, efter ASR-ordfejlrate. Kombinationen giver en samlet fejlbedømmelsesrate på 3,2% i matematisk quiz-tilstand.

7. Tilsidesættelser pr. udgiver

Et co-brand fra et forlag har ofte proprietære tal-konventioner. For eksempel kan en britisk udgiver skrive "£1,2m" for at mene "one point two million pounds", mens standardreglen læser det som "one pound two million". Vores tilsidesættelsessystem accepterer en JSON-fil pr. udgiver, pr. lokalitet, med regel-niveau patches:

{
  "locale": "en-GB",
  "publisher_id": "PH-2026-A",
  "rules": [
    { "pattern": "£([0-9]+)\\.([0-9])m", "spoken": "{1} point {2} million pounds" }
  ]
}

Op til 200 tilsidesættelser pr. bog accepteres uden ydelsesstraf. Udarbejdelse af tilsidesættelser er et 2-ugers engagement med vores lokaliseringsteam, faktureret til $2.800 pr. udgiver pr. lokalitet.

8. Kanttilfælde vi har lært af

Efter mere end 47.000 enheder sendt til 47 lande er vores top 10 TN-kanttilfælde:

Det blandede arabisk-indiske tilfælde er interessant: en saudisk lærebog kan bruge vestlige cifre (0–9) på side 1 og arabisk-indiske cifre (٠–٩) på side 2. TN-motoren skal registrere skriftsystemet pr. side, ikke pr. bog, og anvende den korrekte regeltabel.

9. Ydeevne, ressourceforbrug og strøm

TN-motoren kører kun, når indhold læses højt; ITN-motoren kører kun, når et quizzesvar bedømmes. Begge er hændelsesstyrede og påvirker ikke det altid aktive lyttebudget.

10. OEM-tilpasning og roadmap

Et forlag med co-branding eller museumsbutik ønsker ofte brugerdefinerede TN-regler. Vores tilpasningsniveauer:

2027-roadmapmet tilføjer neural TN — en 12 M parameter Transformer, der erstatter regelmotoren for de 6 mest anvendte landestandarder (en-US, es-ES, pt-BR, zh-CN, fr-FR, de-DE). Neural TN håndterer tvetydige tilfælde (f.eks. "Dr." i "Dr. Smith" vs. "Drive") bedre end regler, men tilføjer 4,2 MB og 18 ms latenstid, og det er derfor, den leveres som valgfri feature for high-end SKU'er (Q8, T2, Y6).

Relateret læsning

• Læsepen TTS tekst-til-tale-motor forklaret
• Læsepen flersproget TTS-sprogpakke
• Læsepen ASR automatisk talegenkendelse
• Læsepen offline-oversættelsesmotor og nøjagtighed
• Læsepen anvendelsestilfælde geografilæring
• Læsepen anvendelsestilfælde forlag co-brand

11. Fabrik- og produktionsbaggrund for TN/ITN-lokalisering

Tekstnormalisering og invers tekstnormalisering er ikke en enkelt binær blok — de er en regelpakke pr. landestandard plus en sekvensmærkningsmodel, der skal revalideres, hver gang vi onboarder et nyt sprog eller en ny forlagspartner. Vores fabriksgulv behandler lokalisering som en førsteklasses produktionslinje med sin egen burn-in-bænk og acceptkriterier.

Lokaliseringslinjen kører 3 SMT-ruller, 2 AOI-stationer og 1 regeltabel-burn-in-rack dedikeret til TN/ITN-modulet på tværs af alle 11 produktions-SKU'er (B1, B2, F8, K7, KF1, L5, P2, Q6, Q8, T2, Y6). Daglig firmware-flash-gennemstrømning er 6.400 penne, med spidsbelastning på 10.800 penne i Q3-forlagets udrulningsvinduer. Hver TN/ITN-aktiverede pen valideres mod et 2.400-udtalelsers acceptkorpus pr. landestandard før bin-frigivelse. Acceptporten kombinerer tre signaler: regeltabel-integritet (1,4 MB CRC-match), ITN-model SHA-match og en ende-til-ende TTS-roundtrip-godkendelse på 12-landestandards testset der inkluderer "£24,99", "12/03/2026", "1923" og de 47 kunderapporterede kanttilfælde, der dukkede op i 2024–2025.

Lokaliserings-AQL er AQL II = 1,0 for regeltabel-flash-trinnet og AQL II = 0,65 for ITN-model-skrivetrinnet. En enkelt mislykket landestandard på en enkelt SKU side-binner hele rullen. Gennemstrømning pr. SKU (kun TN/ITN-aktiverede linjer):

Middel leveringstid på tværs af de TN/ITN-aktiverede SKU'er er 36,5 dage; P2- og L5-publishing-co-brand-SKU'erne har længere leveringstid på grund af per-publisher override JSON-injektion ved burn-in-stativet.

12. Certificering og lokaliseringsoverholdelse

Vores TN/ITN-lag leveres med dokumentation, der er egnet til due-diligence-pakker fra udgivere, undervisningsministeriets indkøb og importørers compliance-gennemgange:

TN/ITN-laget er en ren on-device regelmotor plus en 480 kB BERT-tiny tagger. Ingen stemmedata forlader enheden under TN- eller ITN-drift, hvilket forenkler dokumentationen af grænseoverskridende dataflow for uddannelsesudbud i EU, Storbritannien, USA, Saudi-Arabien og UAE.

13. OEM/ODM-priser og SKU-afvejninger

En SmartReadingPen OEM/ODM-køber, der planlægger at lokalisere til et eller flere nye markeder, bør forvente følgende prismønster for TN/ITN-moduler. Prisen er FOB Shenzhen for en MOQ på 1.000 enheder og ekskluderer selve enhedens hardware.

Et regionalt brand, der sælger i ét land, bør budgettere med NRE $1.800–$4.200 + royalty pr. enhed $0,04–$0,18, plus per-udgiver-tilpasninger à $2.800, hvis brandet har et co-branded curriculum. En multinational udgiver, der leverer til 6+ sprogversioner, bør forvente NRE $7.800 + royalty pr. enhed $0,18 ved en MOQ på 1.000 enheder, faldende til $0,11 ved en MOQ på 10.000 enheder. Betalingsbetingelserne er 30% T/T-udbetaling, 70% mod B/L-kopi; uigenkaldelig L/C ved fremvisning accepteres for ordrer ≥ $200.000.

14. Interne valideringsmåltal og tekniske konklusioner

På tværs af 41.200 TN/ITN-aktiverede penne leveret mellem 2024-08 og 2026-08 (Q8 11.400 / T2 9.800 / Y6 6.200 / P2 5.400 / K7 3.800 / KF1 2.400 / F8 1.400 / L5 800) viser vores interne valideringstelemetri:

Tekniske konklusioner for OEM/ODM-købere, der evaluerer TN/ITN:

1. Landepakken er ikke valgfri — en pen, der sendes til Frankrig uden valuta­reglerne for fr-FR, er uegnet til detail. Bekræft, at korpuset for per-locale accept er godkendt, før PO'en underskrives.
2. Håndtering af årstal er den mest synlige fejltilstand — få reglen 1100–1999 rigtigt, ellers læses historiebogen forkert. Bed om demo-sættet for årstalshåndtering.
3. Per-udgiver-overstyringer lukker de sidste 2–4% — for ethvert co-brandede curriculum med proprietære tal-konventioner, afsæt et autorationsgebyr på $2.800 per locale.
4. ITN-fejl forplanter sig til quiz-bedømmelse — en ITN-regression på 1% kan vise sig som 3% forkert bedømmelse i quizzer. Insistér på per-locale ITN F1 i QA-rapporten.
5. Neural TN er opt-in af en grund — tilføjer 4,2 MB og 18 ms. Kun Q8, T2 og Y6 har kapaciteten; mindre SKU'er skal forblive på regler.

For købere, der er klar til at lokalisere et curriculum på tværs af 4+ landestandarder eller til at onboarde et nyt sprog, anmod om et tilbud med listen over ønskede landestandarder, et eksempel på indhold og mål-SKU. Vores lokaliseringsteam returnerer en per-locale NRE-opdeling, en tidsplan for overstyringsautorering og en godkendt prøve på accept­korpus inden for 3 arbejdsdage.