Normalisering og invers normalisering av tekst i lesepenn: tall, datoer og valuta som leses riktig

Målgruppe: Denne tekniske oversikten er skrevet for lokaliseringsansvarlige, TTS-ingeniører, innholdsutgivere og innkjøpsteam som vurderer hvordan en SmartReadingPen OEM/ODM-lesepenn konverterer skrevne tall, datoer, valutaer, forkortelser og enheter til talespråk på tvers av 12 språk — og hvordan den inverse rørledningen gjør et barns muntlige svar om til en skriftlig, poenggivende form.

En lesepenn som leser «£24.99» som «pund tjuefire komma ni ni» i stedet for «tjuefire pund og nittini pence» er uegnet for britisk detaljhandel. En penn som leser «1923» som «ett tusen ni hundre og tjuetre» når læreboken mener «nitten tjuetre», vil få en historietime feil. Tekstnormalisering (TN) — å konvertere skriftlig form til talt form — og dens invers (ITN) er den unglamorøse halvdelen av enhver lesepennsTTS-motor og ASR-poenggivende rørledning, og de avgjør om pennen høres naturlig ut og gir rettferdig poengsum.

Dette er den tekniske oversikten over vårt TN/ITN-lag: regelmotorer, lokalitetstabeller, kanttilfeller og valideringsprotokollen du bør kjøre på ethvert forlags-hus co-branding innholdssett.

1. Hvorfor TN/ITN ikke løses av TTS alene

En moderne nevral TTS som vår 24 kHz FastSpeech 2 vil gjerne uttale en rå tallstreng som en siffer-for-siffer-sekvens hvis inputen ikke er forhåndsbehandlet. Resultatet blir «one nine two three» i stedet for «nineteen twenty-three». Verre: ASR-poenggivning som forventer «twenty-three», vil merke det korrekt uttalte svaret som feil.

Løsningen er et tosidig normaliseringslag som ligger mellom OID/OCR-innholdsuttrekk og TTS-frontenden, og mellom ASR-output og quiz-bedømmeren.

Til sammen legger TN/ITN-laget til 1.9 MB til firmwarebildet og 28 ms ventetid per del på en Q8-plattform.

2. Taksonomien for skriftlige former

På tvers av våre 12 produksjonslokasjoner fordeles skriftlige former inn i 14 kategorier. TN-motoren må håndtere hver kategori korrekt, ellers vil TTS-utdataene høres feil ut.

Hver kategori har språkspesifikke regler. For eksempel leser fransk "21" som "vingt-et-un" (med bindestrek), men leser "81" som "quatre-vingt-un" (uten bindestrek, spesiell "4×20"-basis). Mandarin leser "24" som "èr shí sì" (to-ti-fire). Arabisk leser "1923" fra høyre til venstre med egne regler for hundrer og tusener.

3. Regelverket: Vektede endelige tilstandstransduktorer

Den forovervendte TN-motoren er bygget på OpenFST vektede endelige tilstandstransduktorer (WFST), én per språkvariant. Hver WFST tar imot en strøm av tegn og sender ut en strøm av fonemer (for TTS) eller ordtoken (for ITN-treningsdata). Det totale antallet regler på tvers av 12 språkvarianten er 184 000 transisjoner, med de største tabellene for en-US (32 000), de-DE (28 000), fr-FR (24 000) og ar-SA (22 000).

Den laveste nøyaktigheten er ja-JP (96,8 %) på grunn av de multiple avlesningene av kanji-tall og den inkonsistente bruken av arabiske tall kontra kanji-tall i barnelærebøker. Den høyeste er en-US (99,2 %), drevet av 8 år med regeltabellforbedring fra TC-035 lesepenn datakryptering testkorpus og kundeinnhold.

4. Årstallshåndtering: 1100–1999-regelen

Å lese årstall riktig er en evig hodepine. Regelen for en-US:

• 1100–1999: leses som to par («nitten tjuetre») med mindre det andre paret er 00–09, da leses det som «nitten hundre og tre»
• 2000–2099: leses som «tusen» eller «tjue null seks» (begge akseptert)
• 1000–1099: leses som «ett tusen og tjuetre»
• År ≤ 999: leses som grunntall («år 753»)
• År ≥ 2100: leses som grunntallspar

En historielærebok fra 2024 inneholdt 412 distinkte årstallsreferanser; vår TN-motor leste 408 av dem riktig på første forsøk, bommet på 2 (f.Kr.-datoer) og brukte den alternative uttalen «tjue tjuefire» for 2 tvetydige tilfeller. Etter 14 dagers justering av JSON-overstyring per utgiver leste læreboken 100 % riktig.

5. Valutahåndtering per språkvariant

Valuta er den mest synlige TN-feilmodusen i detaljhandel. Reglene per språkvariant:

En lesepenn som sendes til en fransktalende kjøper uten en valutatabell per språkvariant, vil lese hver prislapp i en barnbokhandel feil. Be leverandøren om bestått valutatest før du signerer.

6. Invers tekstnormalisering for oppgavevurdering

Når et barn svarer på et mattestykke, kommer ASR-transkripsjonen tilbake i talt form («tjuefire nittini»), og oppgavegradereren trenger den skriftlige formen («24,99»). Dette er ITN-problemet, løst av en 480 kB BERT-tiny sekvenstag-modell som kobler hvert talte token til en skriftlig kategori (NUMMER, DESIMAL, VALUTA, DATO, ORD, O).

ITN-modellen er trent på 2,4 millioner syntetiserte par (skriftlig form, talt form) på tvers av de 12 lokalitetene, pluss 80 000 menneskekorrigerte eksempler fra kundepiloter. F1 per lokalitet på et testsett på 10 000 utsagn holdt utenfor:

Den laveste er ar-SA (91,6 %) på grunn av høyre-til-venstre-skrift og inkonsekvent bruk av sifre versus ord. ITN-feil er den nest vanligste årsaken til falsk negativ poengsetting i quizer, etter ASR-ordfeilrate. Kombinasjonen gir en samlet feilpoengsettingsrate på 3,2 % i mattequiz-modus.

7. Overstyringer per utgiver

En sameie-merkevare for forlag har ofte proprietære tallkonvensjoner. For eksempel kan en britisk utgiver skrive "£1.2m" for å mene "one point two million pounds", mens standardregelen leser det som "one pound two million". Vårt overstyringssystem aksepterer en JSON-fil per utgiver, per lokalitet, med regelbaserte oppdateringer:

{
  "locale": "en-GB",
  "publisher_id": "PH-2026-A",
  "rules": [
    { "pattern": "£([0-9]+)\\.([0-9])m", "spoken": "{1} point {2} million pounds" }
  ]
}

Opptil 200 overstyringer per bok aksepteres uten ytelsesstraff. Utarbeidelse av overstyringer er et 2-ukers engasjement med vårt lokaliseringsteam, fakturert til $2 800 per utgiver per lokalitet.

8. Kanttilfeller vi har lært av

Etter 47 000+ enheter sendt til 47 land, er våre 10 mest vanlige TN-kanttilfeller:

Det blandede arabisk-indiske tilfellet er interessant: en saudiarabisk lærebok kan bruke vestlige sifre (0–9) på side 1 og arabisk-indiske sifre (٠–٩) på side 2. TN-motoren må oppdage skriftsystemet per side, ikke per bok, og bruke riktig regeltabell.

9. Ytelse, fotavtrykk og strømforbruk

TN-motoren kjører kun når innhold leses høyt; ITN-motoren kjører kun når et svar på en quiz rettes. Begge er hendelsesstyrte og påvirker ikke det alltid-på-lyttebudsjettet.

10. OEM-tilpasning og kjøreplan

Et forlag som med-produsent eller museumsbutikk ønsker ofte egne TN-regler. Våre tilpasningsnivåer:

Veikartet for 2027 legger til nevrale TN — en 12 M parameter Transformer som erstatter regelmotoren for de 6 språkene med høyest volum (en-US, es-ES, pt-BR, zh-CN, fr-FR, de-DE). Nevral TN håndterer tvetydige tilfeller (f.eks. «Dr.» i «Dr. Smith» vs «Drive») bedre enn regler, men legger til 4,2 MB og 18 ms ventetid, og det er derfor den leveres som valgfri for high-end SKU-er (Q8, T2, Y6).

Relatert lesning

• Lese Penn TTS tekst-til-tale-motor forklart
• Lese Penn flerspråklig TTS språkpakke
• Lese Penn ASR automatisk talegjenkjenning
• Lese Penn frakoblet oversettelsesmotor og nøyaktighet
• Lese Penn brukstilfelle geografilæring
• Lese Penn brukstilfelle forlagshus co-branding

11. Fabrikk- og produksjonsbakgrunn for TN/ITN-lokalisering

Tekstnormalisering og invers tekstnormalisering er ikke én enkelt binær blob — det er en regelpakke per språk pluss en sekvensmerkingsmodell som må revalideres hver gang vi tar inn et nytt språk eller en ny forlagspartner. Fabrikkens gulv behandler lokalisering som en førsteklasses produksjonslinje med egen innbrentestbenk og akseptkriterier.

Lokaliseringslinjen kjører 3 SMT-reeler, 2 AOI-stasjoner og 1 innbrenningsstativ for regeltabeller dedikert til TN/ITN-modulen på tvers av alle 11 produksjons-SKU-er (B1, B2, F8, K7, KF1, L5, P2, Q6, Q8, T2, Y6). Daglig gjennomstrømning for fastvare-blitsing er 6 400 penner, med topp på 10 800 penner i løpet av Q3-rulleutvindingsvinduer for forlag. Hver TN/ITN-aktivert penn valideres mot en 2 400-uttale akseptkorpus per språk før bin-utgivelse. Akseptporten kombinerer tre signaler: integritet for regeltabell (1,4 MB CRC-samsvar), ITN-modell SHA-samsvar, og en ende-til-ende TTS round-trip-bestått på 12-språks testsett som inkluderer «£24.99», «12/03/2026», «1923» og de 47 kunderapporterte kanttilfellene som dukket opp i 2024–2025.

Lokalisering AQL er AQL II = 1,0 for regeltabell-blitsingstrinnet og AQL II = 0,65 for ITN-modellskrivetrinnet. Én enkelt feilet språk på én enkelt SKU side-binner hele reelen. Gjennomstrømning per SKU (kun TN/ITN-aktiverte linjer):

Gjennomsnittlig ledetid på tvers av TN/ITN-aktiverte SKU-er er 36,5 dager; P2- og L5-co-branding av publiserings-SKU-ene tar lengre tid på grunn av injeksjon av per-publiserings-overstyrings-JSON i burn-in-racket.

12. Sertifisering og lokaliserings­samsvar

Vårt TN/ITN-lag leveres med dokumentasjon som er egnet for publisheres granskninger, innkjøp fra undervisnings­myndigheter og importørers samsvars­gjennomganger:

TN/ITN-laget er en ren regelmotor på enheten pluss en 480 kB BERT-tiny-tagger. Ingen stemmedata forlater enheten under TN- eller ITN-drift, noe som forenkler dokumentasjonen av dataflyt over landegrenser for anbudskonkurranser innen utdanning i EU, Storbritannia, USA, Saudi-Arabia og De forente arabiske emirater.

13. OEM/ODM-priser og SKU-avveininger

En SmartReadingPen OEM/ODM-kjøper som planlegger å lokalisere for ett eller flere nye markeder, bør forvente følgende prismønster for TN/ITN-moduler. Prisen er FOB Shenzhen for en MOQ på 1 000 enheter og ekskluderer enhetens maskinvare.

Et regionalt merke som selger i ett land bør planlegge for NRE $1 800–$4 200 + royalty per enhet $0,04–$0,18, pluss overstyringer per utgiver på $2 800 hver dersom merket har en med-produsert læreplan. En multinasjonal utgiver som leverer til 6+ språk bør forvente NRE $7 800 + royalty per enhet $0,18 ved MOQ på 1 000 enheter, som faller til $0,11 ved MOQ på 10 000 enheter. Betalingsbetingelsene er 30 % T/T-innskudd, 70 % mot kopi av konnossement; ugjenkallelig L/C ved sikte aksepteres for ordrer ≥ $200 000.

14. Interne valideringsmålinger og tekniske erfaringer

På tvers av 41 200 TN/ITN-aktiverte penner sendt mellom 2024-08 og 2026-08 (Q8 11 400 / T2 9 800 / Y6 6 200 / P2 5 400 / K7 3 800 / KF1 2 400 / F8 1 400 / L5 800), viser vår interne valideringstelemetri:

Ingeniørmessige lærdommer for OEM/ODM-kjøpere som vurderer TN/ITN:

1. Språkpakken er ikke valgfri — en penn som sendes til Frankrike uten fr-FR-valutareglene er uegnet for detaljhandel. Bekreft at den per-locale akseptkorpusen består før du signerer PO-en.
2. Årshåndtering er den mest synlige feilmodusen — få 1100–1999-regelen riktig, ellers leser historielæreboken feil. Be om demo-settet for årshåndtering.
3. Per-publisher overstyringer lukker de siste 2–4% — for enhver co-branded læreplan med proprietære tallkonvensjoner, budsjetter med $2 800 authoring-gebyr per språkpakke.
4. ITN-feil forplanter seg til quiz-gradering — en 1 % ITN-regresjon kan vise seg som 3 % feilgradering av quizer. Insister på per-locale ITN F1 i QA-rapporten.
5. Neural TN er opt-in av en grunn — legger til 4,2 MB og 18 ms. Bare Q8, T2 og Y6 har kapasiteten; mindre SKU-er må holde seg til regler.

For kjøpere som er klare til å lokalisere en læreplan på tvers av 4+ språkpakker eller å ta i bruk et nytt språk, be om et tilbud med mållisten for språkpakker, eksempelinnholdsett og mål-SKU. Vårt lokaliseringsteam returnerer en per-locale NRE-oppdeling, en tidslinje for overstyringsautorisering og en bestått prøve på akseptkorpus innen 3 virkedager.