रीडिंग पेन टेक्स्ट नॉर्मलाइज़ेशन और इनवर्स टेक्स्ट नॉर्मलाइज़ेशन: संख्याएँ, तारीखें और मुद्राएँ जो सही पढ़ी जाएँ

दर्शक: यह इंजीनियरिंग ब्रीफ उन स्थानीयकरण लीड्स, TTS इंजीनियर्स, कंटेंट पब्लिशर और प्रोक्योरमेंट टीमों के लिए लिखा गया है जो यह आकलन कर रहे हैं कि एक SmartReadingPen OEM/ODM रीडिंग पेन लिखित संख्याओं, तारीखों, मुद्राओं, संक्षिप्त रूपों और इकाइयों को 12 भाषाओं में बोले गए शब्दों में कैसे बदलता है — और कैसे उल्टा पाइपलाइन बच्चे के बोले गए उत्तर को वापस लिखित ग्रेड-योग्य रूप में बदलता है।

एक रीडिंग पेन जो "£24.99" को "pound twenty-four point nine nine" की जगह "twenty-four pounds and ninety-nine pence" नहीं पढ़ता, वह UK रिटेल के लिए अनुपयुक्त है। एक पेन जो "1923" को "one thousand nine hundred twenty-three" पढ़ता है जबकि पाठ्यपुस्तक का आशय "nineteen twenty-three" है, वह इतिहास का पाठ गलत करा देगा। टेक्स्ट नॉर्मलाइज़ेशन (TN) — लिखित रूप को बोले जाने वाले रूप में बदलना — और इसका उल्टा (ITN) हर रीडिंग पेन की अगले हिस्से का वह आभावशील भाग हैTTS इंजन और ASR ग्रेडिंग पाइपलाइन का, और वे तय करते हैं कि पेन स्वाभाविक सुनाई देगा और उचित ग्रेडिंग करेगा।

हमारी TN/ITN लेयर पर यह इंजीनियरिंग ब्रीफ है: रूल इंजन, लोकल टेबल, एज केस, और वह वैलिडेशन प्रोटोकॉल जिसे आपको किसी भीpublishing house co-brand कंटेंट सेट पर चलाना चाहिए।

1. TN/ITN केवल TTS से अकेले हल नहीं होता

एक आधुनिक न्यूरल TTS जैसे हमारा 24 kHz FastSpeech 2 कच्ची संख्या स्ट्रिंग को अंक-दर-अंक क्रम में बोल देगा यदि इनपुट पहले से प्रोसेस न किया गया हो। परिणाम "one nine two three" होगा, "nineteen twenty-three" नहीं। इससे भी बुरा, ASR ग्रेडिंग जो "twenty-three" की उम्मीद करती है, बोले गए सही उत्तर को गलत अंकित कर देगी।

समाधान है एक दो-दिशीय नॉर्मलाइज़ेशन लेयर जो OID/OCR कंटेंट एक्सट्रैक्शन और TTS फ्रंट-एंड के बीच, और ASR आउटपुट और क्विज़ ग्रेडर के बीच बैठती है।

मिलकर TN/ITN लेयर फर्मवेयर इमेज में 1.9 MB और Q8 प्लेटफ़ॉर्म पर प्रति चंक 28 ms विलंब जोड़ती है।

2. लिखित रूपों का वर्गीकरण

हमारे 12 प्रोडक्शन लोकल में, लिखित रूप 14 श्रेणियों में आते हैं। TN इंजन को हर श्रेणी सही ढंग से संभालनी होगी वरना TTS आउटपुट गलत सुनाई देता है।

हर श्रेणी के अपने-अपने लोकल-स्तर के नियम होते हैं। उदाहरण के लिए, फ़्रेंच में "21" को "vingt-et-un" पढ़ा जाता है (हाइफ़न के साथ), जबकि "81" को "quatre-vingt-un" पढ़ा जाता है (बिना हाइफ़न के, विशेष "4×20" आधार)। मंदारिन में "24" को "èr shí sì" (दो-दस-चार) पढ़ा जाता है। अरबी में "1923" को दाएँ-से-बाएँ पढ़ा जाता है, और सैकड़ों तथा हज़ारों के लिए अलग-अलग नियम होते हैं।

3. नियम इंजन: भारित परिमित-अवस्था ट्रांसड्यूसर

फ़ॉरवर्ड TN इंजन OpenFST भारित परिमित-अवस्था ट्रांसड्यूसर (WFST) पर बना है, प्रत्येक लोकल के लिए एक। हर WFST वर्णों की एक धारा स्वीकार करता है और ध्वनि-इकाइयों (TTS के लिए) या शब्द-टोकन (ITN प्रशिक्षण डेटा के लिए) की धारा निर्गत करता है। 12 लोकल में मिलाकर कुल नियमों की संख्या 184,000 ट्रांज़िशन है, जिनमें सबसे बड़ी तालिकाएँ en-US (32,000), de-DE (28,000), fr-FR (24,000), और ar-SA (22,000) के लिए हैं।

सबसे कम सटीकता ja-JP (96.8%) है, जो कान्जी अंकों की बहुविध उच्चारण शैलियों और बच्चों की पाठ्यपुस्तकों में अरबी बनाम कान्जी अंकों के असंगत प्रयोग के कारण है। सबसे अधिक सटीकता en-US (99.2%), driven by 8 years of rule-table refinement from TC-035 reading pen data encryption टेस्ट कॉर्पोरा और ग्राहक सामग्री से प्राप्त 8 वर्षों के रूल-टेबल परिष्करण से संचालित है।

4. वर्ष संभालना: 1100–1999 नियम

वर्षों को सही-सही पढ़ना एक चिर-परिचित चुनौती है। en-US:

• 1100–1999: read as two pairs ("nineteen twenty-three") unless the second pair is 00–09, in which case read as "nineteen hundred and three"
• 2000–2099: read as "two thousand" or "twenty oh-six" (both accepted)
• 1000–1099: read as "one thousand and twenty-three"
• वर्ष ≤ 999: मूल संख्या की तरह पढ़ें ("year 753")
• वर्ष ≥ 2100: मूल संख्या के जोड़ों में पढ़ें

एक 2024 के इतिहास पाठ्यपुस्तक में 412 विशिष्ट वर्ष संदर्भ थे; हमारे TN इंजन ने पहले प्रयास में 408 को सही पढ़ा, 2 छूट गए (BC तिथियाँ), और 2 अस्पष्ट मामलों के लिए वैकल्पिक "twenty twenty-four" उच्चारण लागू किया। प्रति-प्रकाशक ओवरराइड JSON को 14 दिनों तक ट्यूनिंग करने के बाद, पाठ्यपुस्तक 100% सही पढ़ी गई।

5. प्रति लोकल मुद्रा संभालना

खुदरा में मुद्रा TN की सबसे दृश्य विफलता है। प्रति लोकल नियम:

बिना प्रति-लोकल मुद्रा तालिका के फ्रांसीसी बोलने वाले खरीदार को भेजी गई रीडिंग पेन बच्चों की पुस्तकों की दुकान में हर मूल्य टैग को गलत पढ़ेगी। हस्ताक्षर करने से पहले विक्रेता से मुद्रा टेस्ट पास रिपोर्ट माँगें।

6. क्विज़ ग्रेडिंग के लिए इनवर्स टेक्स्ट नॉर्मलाइज़ेशन

जब कोई बच्चा गणित की समस्या का उत्तर देता है, तो ASR ट्रांसक्रिप्ट उच्चारित रूप में आता है ("twenty-four ninety-nine"), और क्विज़ ग्रेडर को लिखित रूप ("24.99") चाहिए। यह ITN समस्या है, जिसे 480 kB BERT-tiny सीक्वेंस-टैगिंग मॉडल द्वारा हल किया जाता है जो प्रत्येक उच्चारित टोकन को लिखित श्रेणी में मैप करता है (नंबर, दशमलव, मुद्रा, तारीख, शब्द, O).

ITN मॉडल को इन पर प्रशिक्षित किया गया है 2.4 मिलियन संश्लेषित जोड़े (लिखित रूप, बोला जाने वाला रूप) 12 लोकल में, साथ ही ग्राहक पायलट से 80,000 मानव-सहीकृत उदाहरण। 10,000-वाक्यांश आयोजित टेस्ट सेट पर प्रति-लोकल F1:

सबसे कम है ar-SA (91.6%) दाएँ-से-बाएँ लिपि और अंकों बनाम शब्दों के असंगत उपयोग के कारण। ITN त्रुटियाँ गलत-नकारात्मक क्विज़ ग्रेडिंग का दूसरा सबसे आम कारण है, इसके बाद ASR शब्द त्रुटि दर. The combination drives a 3.2% overall quiz mis-grading rate on the गणित क्विज़ मोड.

पर 3.2% की समग्र क्विज़ गलत-ग्रेडिंग दर प्रेरित करता है।

7. प्रति-प्रकाशक ओवरराइडpublishing house co-brand often has proprietary number conventions. For example, a UK publisher may write "£1.2m" to mean "one point two million pounds" while the default rule reads it as "one pound two million". Our override system accepts a JSON file per publisher, per locale, with rule-level patches:

 के पास अक्सर मालिकाना संख्या परंपराएँ होती हैं। उदाहरण के लिए, एक UK प्रकाशक "£1.2m" लिख सकता है जिसका अर्थ है "one point two million pounds" जबकि डिफ़ॉल्ट नियम इसे "one pound two million" के रूप में पढ़ता है। हमारा ओवरराइड सिस्टम प्रति प्रकाशक, प्रति लोकल, एक JSON फ़ाइल स्वीकार करता है, जिसमें नियम-स्तरीय पैच होते हैं:[0-9]+)\\.([0-9])m", "spoken": "{1} point {2} million pounds" }
  ]
}

Up to 200 overrides per book are accepted without performance penalty. Override authoring is a 2-week engagement with our localization team, billed at प्रति पुस्तक 200 तक ओवरराइड बिना प्रदर्शन दंड के स्वीकार किए जाते हैं। ओवरराइड लेखन हमारी स्थानीयकरण टीम के साथ 2-सप्ताह की सहभागिता है, जिसका बिल per publisher per locale.

प्रति प्रकाशक प्रति लोकल है।

8. हमने जो एज केस सीखे हैं

मिश्रित अरबी-इंडिक मामला रोचक है: एक सऊदी पाठ्यपुस्तक में पृष्ठ 1 पर पश्चिमी अंक (0–9) और पृष्ठ 2 पर अरबी-इंडिक अंक (٠–९) हो सकते हैं। TN इंजन को प्रति पुस्तक नहीं, बल्कि प्रति पृष्ठ लिपि का पता लगाना होगा और सही नियम तालिका लागू करनी होगी।

9. प्रदर्शन, फ़ुटप्रिंट और पावर

TN इंजन केवल तब चलता है जब सामग्री पढ़ी जा रही होती है; ITN इंजन केवल तब चलता है जब क्विज़ उत्तर का मूल्यांकन किया जा रहा होता है। दोनों ईवेंट-ट्रिगर हैं और हमेशा-चालू सुनने बजट को प्रभावित नहीं करते।

10. OEM अनुकूलन और रोडमैप

एक प्रकाशन गृह को-ब्रांड या संग्रहालय उपहार दुकान अक्सर कस्टम TN नियम चाहती है। हमारे अनुकूलन स्तर:

The 2027 roadmap adds neural TN — a 12 M parameter Transformer that replaces the rule engine for the 6 highest-volume locales (en-US, es-ES, pt-BR, zh-CN, fr-FR, de-DE). Neural TN handles ambiguous cases (e.g., "Dr." in "Dr. Smith" vs "Drive") better than rules, but adds 4.2 MB and 18 ms latency, which is why it ships as opt-in for high-end SKUs (Q8, T2, Y6).

Related Reading

• Reading Pen TTS Text-to-Speech Engine Explained
• Reading Pen Multi-Language TTS Language Pack
• Reading Pen ASR Automatic Speech Recognition
• Reading Pen Offline Translation Engine and Accuracy
• Reading Pen Use Case Geography Learning
• Reading Pen Use Case Publishing House Co-Brand

11. Factory & Production Background for TN/ITN Localization

Text normalization and inverse text normalization are not a single binary blob — they are a per-locale rule pack plus a sequence-tagging model that must be re-validated every time we onboard a new language or a new publishing partner. Our factory floor treats localization as a first-class production line with its own burn-in bench and acceptance criteria.

The localization line runs 3 SMT reels, 2 AOI stations, and 1 rule-table burn-in rack dedicated to the TN/ITN module across all 11 production SKUs (B1, B2, F8, K7, KF1, L5, P2, Q6, Q8, T2, Y6). Daily firmware flash throughput is 6,400 pens, peaking at 10,800 pens during Q3 publisher rollout windows. Each TN/ITN-enabled pen is validated against a 2,400-utterance per-locale acceptance corpus before bin release. The acceptance gate combines three signals: rule-table integrity (1.4 MB CRC match), ITN model SHA match, and an end-to-end TTS round-trip pass on the 12-locale test set that includes "£24.99", "12/03/2026", "1923", and the 47 customer-reported edge cases that surfaced in 2024–2025.

Localization AQL is AQL II = 1.0 for the rule-table flash step and AQL II = 0.65 for the ITN model write step. A single failed locale on a single SKU page-bins the whole reel. Throughput by SKU (TN/ITN-enabled lines only):

Mean lead time across the TN/ITN-enabled SKUs is 36.5 days; the P2 and L5 publishing co-brand SKUs run longer because of per-publisher override JSON injection at the burn-in rack.

12. Certification & Localization Compliance

Our TN/ITN layer ships with documentation suitable for publisher due-diligence packets, education-ministry procurement, and importer compliance reviews:

The TN/ITN layer is a pure on-device rule engine plus a 480 kB BERT-tiny tagger. No voice data leaves the device during TN or ITN operation, which simplifies cross-border data-flow documentation for EU, UK, US, KSA, and UAE education tenders.

13. OEM/ODM Pricing & SKU Trade-Offs

A SmartReadingPen OEM/ODM buyer who plans to localize for one or more new markets should expect the following pricing pattern for TN/ITN modules. Pricing is FOB Shenzhen for a 1,000-unit MOQ and excludes the device hardware.

A regional brand selling into one country should plan for NRE $1,800–$4,200 + per-unit royalty $0.04–$0.18, plus per-publisher overrides at $2,800 each if the brand has a co-branded curriculum. A multinational publisher shipping across 6+ locales should expect NRE $7,800 + per-unit royalty $0.18 at the 1,000-unit MOQ, dropping to $0.11 at the 10,000-unit MOQ. Payment terms are 30% T/T deposit, 70% against B/L copy; irrevocable L/C at sight is accepted for orders ≥ $200,000.

14. Internal Validation Metrics & Engineering Takeaways

Across 41,200 TN/ITN-enabled pens shipped between 2024-08 and 2026-08 (Q8 11,400 / T2 9,800 / Y6 6,200 / P2 5,400 / K7 3,800 / KF1 2,400 / F8 1,400 / L5 800), our internal validation telemetry shows:

TN/ITN का मूल्यांकन करने वाले OEM/ODM खरीदारों के लिए इंजीनियरिंग सबक:

1. लोकल पैक वैकल्पक नहीं है — फ्रांस में बिना fr-FR मुद्रा नियमों के भेजा जाने वाला पेन रिटेल के लिए अयोग्य है। PO पर हस्ताक्षर करने से पहले पुष्टि करें कि प्रति-लोकल स्वीकृति कॉर्पस पास हो गया है।
2. वर्ष हैंडलिंग सबसे दृश्यमान विफलता मोड है — 1100–1999 नियम को सही रखें, वरना इतिहास की पाठ्यपुस्तक गलत पढ़ी जाएगी। वर्ष-हैंडलिंग डेमो सेट का अनुरोध करें।
3. प्रकाशक-वार ओवरराइड अंतिम 2–4% को पूरा करते हैं — किसी भी सह-ब्रांडेड पाठ्यक्रम के लिए जिसमें मालिकाना संख्या परंपराएँ हैं, प्रति-लोकल $2,800 लेखन शुल्क का बजट रखें।
4. ITN त्रुटियाँ क्विज़ ग्रेडिंग तक फैलती हैं — 1% ITN रिग्रेशन 3% क्विज़ गलत-ग्रेडिंग दर के रूप में दिख सकता है। QA रिपोर्ट में प्रति-लोकल ITN F1 पर ज़ोर दें।
5. न्यूरल TN एक कारण से ऑप्ट-इन है — 4.2 MB और 18 ms जोड़ता है। केवल Q8, T2 और Y6 के पास हेडरूम है; छोटे SKU को नियमों पर ही रहना चाहिए।

4+ लोकल में पाठ्यक्रम स्थानीयकृत करने या नई भाषा ऑनबोर्ड करने के लिए तैयार खरीदारों के लिए, कोटेशन का अनुरोध करें — लक्ष्य लोकल सूची, सैंपल सामग्री सेट और लक्ष्य SKU के साथ। हमारी स्थानीयकरण टीम 3 व्यावसायिक दिनों के भीतर प्रति-लोकल NRE ब्रेकडाउन, ओवरराइड लेखन टाइमलाइन और सैंपल स्वीकृति कॉर्पस पास लौटाती है।