Μηχανή Αναγνώρισης Γραφής Στυλό Ανάγνωσης: HTR, On-Device Μοντέλα Παραγωγής Γραφής και OEM Ρύθμιση

Κοινό: Αυτό το άρθρο απευθύνεται σε μηχανικούς ML, υπεύθυνους firmware και διαχειριστές προϊόντων OEM που αξιολογούν τη μηχανή αναγνώρισης χειρογράφου (HTR) ενσωματωμένη στις συσκευές ανάγνωσης L5, Q8 και T2. Θεωρούμε ότι γνωρίζετε τη διαφορά μεταξύ online και offline αναγνώρισης, τι κάνει ένας decoder CTC, και ότι χρειάζεστε ένα συγκεκριμένο τεχνικό σημείο αναφοράς για την αρχιτεκτονική του μοντέλου, την ακρίβεια, την καθυστέρηση και το αποτύπωμα μνήμης στη σειρά 11 μοντέλων.

Μια συσκευή ανάγνωσης που αναγνωρίζει έντυπο κείμενο χρησιμοποιεί OCR. Μια συσκευή ανάγνωσης που αναγνωρίζει χειρόγραφο χρησιμοποιεί HTR — ένα θεμελιωδώς διαφορετικό πρόβλημα, επειδή η είσοδος είναι μια ακολουθία δειγμάτων πινελιάς (x, y, t), όχι μια στατική εικόνα. Τα L5, Q8 και T2 περιλαμβάνουν μια μηχανή HTR ως λειτουργία υψηλής ποιότητας, που χρησιμοποιείται κυρίως για εισαγωγή μαθηματικών, ασκήσεις συμπλήρωσης κενών και επικύρωση σύντομων απαντήσεων σε βιβλία εργασίας. Αυτό το άρθρο καλύπτει τη μηχανή, την αρχιτεκτονική του μοντέλου επί της συσκευής και τους αριθμούς που χρειάζεστε για να γράψετε μια αξιόπιστη προδιαγραφή OEM.

1. Γιατί η OCR και η HTR είναι διαφορετικά προβλήματα

Η μηχανή OCR καταναλώνει μια στατική δυαδική εικόνα και παράγει μια ακολουθία χαρακτήρων. Η μηχανή HTR καταναλώνει μια ακολουθία συντεταγμένων άκρου πέννας στον χρόνο και παράγει μια ακολουθία χαρακτήρων. Οι διαφορές διαδίδονται σε ολόκληρη τη σωλήνωση:

• Τρόπος εισόδου: 2D εικόνα (OCR) έναντι 1D χρονικής ροής (HTR).
• Μέγεθος εισόδου: 640 x 480 x 1 byte ανά γραμμή (OCR) έναντι 200 έως 500 δείγματα ανά πινελιά (HTR).
• Προεπεξεργασία: δυαδικοποίηση και συνδεδεμένα στοιχεία (OCR) έναντι αναδειγματοληψίας και εξομάλυνσης (HTR).
• Αρχιτεκτονική μοντέλου: 2D CNN + RNN + CTC (OCR) έναντι 1D χρονικού CNN + BiGRU + CTC (HTR).
• Έξοδος: πλήρης αναγνώριση λέξης (OCR) έναντι σταδιακής αναγνώρισης χαρακτήρα προς χαρακτήρα (HTR).

Οι δύο μηχανές μοιράζονται ορισμένο κώδικα (τον decoder CTC, την αναζήτηση λεξικού, το γλωσσικό μοντέλο) αλλά το front-end και τα μεσαία επίπεδα είναι ανεξάρτητα. Δεν εκτελούμε HTR στα B1, B2, F8, P2, K7, KF1, Q6 και Y6 επειδή αυτά τα μοντέλα δεν διαθέτουν τον αισθητήρα αφής 2D και τον προϋπολογισμό CPU για ένα χρονικό μοντέλο.

2. Όρια υλικού και ποια μοντέλα εκτελούν HTR

Η HTR εκτελείται μόνο στα μοντέλα matrix-touch με επαρκή υπολογιστική ισχύ: L5, Q8 και T2. Καθένα από τα τρία χρησιμοποιεί διαφορετικό SoC, επομένως το μοντέλο HTR μεταγλωττίζεται ανά πλατφόρμα.

Το L5 εκτελεί το μοντέλο HTR στους πυρήνες CPU επειδή δεν διαθέτει NPU. Τα Q8 και T2 μπορούν να εκτελέσουν είτε στην CPU είτε στην NPU· παραδίδουμε την έκδοση CPU ως προεπιλογή και την έκδοση NPU ως επιλογή OEM για αγοραστές που χρειάζονται χαμηλότερη καθυστέρηση.

3. Η σωλήνωση λήψης πινελιάς

Η μηχανή HTR ξεκινά με τον ελεγκτή αφής που αναφέρει δείγματα (x, y, t). Τα δείγματα χρονοσημαίνονται ήδη από το IC αφής. Ο MCU υποδοχής δρομολογεί τα δείγματα σε έναν δακτύλιο ενδιάμεσης αποθήκευσης 1.024 καταχωρήσεων, που αρκεί για 8 δευτερόλεπτα συνεχούς γραφής στα 120 Hz.

Τα βήματα προεπεξεργασίας εκτελούνται σε πραγματικό χρόνο καθώς φτάνουν τα δείγματα:

1. Εξομάλυνση: κινούμενος μέσος όρος 3 σημείων στα x και y. Αφαιρεί τον τρέμουλο του αισθητήρα.
2. Αφαίρεση αγκίστρου: αφαιρεί την αρχική πινελιά «αγκίστρου» που εμφανίζεται όταν η πέννα ακουμπά πρώτη φορά στην επιφάνεια. Ένα άγκιστρο είναι ένα γρήγορο τόξο 30 mm έως 50 mm μέσα στα πρώτα 30 ms.
3. Αναδειγματοληψία: αναδειγματοληψία της πινελιάς σε σταθερά 80 σημεία ανεξαρτήτως αρχικής ταχύτητας. Αυτό κάνει το μοντέλο ανεξάρτητο από την ταχύτητα γραφής.
4. Κανονικοποίηση: μετατόπιση του κεντροειδούς στην αρχή και κλιμάκωση ώστε να χωράει σε πλαίσιο οριοθέτησης 20 mm επί 20 mm.
5. Εξαγωγή χαρακτηριστικών: υπολογισμός dx, dy, dx², dy² σε κάθε αναδειγματοληπτημένο σημείο, καθώς και σημαία ανύψωσης πέννας. Το διάνυσμα χαρακτηριστικών είναι 5 τιμές ανά σημείο.

Το διάνυσμα 80 σημείων επί 5 χαρακτηριστικά τροφοδοτείται στο μοντέλο. Η προεπεξεργασία προσθέτει 4 ms καθυστέρηση στο L5.

4. Η αρχιτεκτονική του μοντέλου

Η μηχανή HTR χρησιμοποιεί ένα 1D χρονικό CNN ακολουθούμενο από ένα αμφίδρομο GRU 2 επιπέδων, ακολουθούμενο από έναν decoder CTC. Η αρχιτεκτονική είναι πανομοιότυπη στα L5, Q8 και T2· μόνο η κβαντοποίηση βαρών ανά πλατφόρμα διαφέρει.

Το χρονικό CNN έχει 3 επίπεδα:

• Conv1D(5 → 32, kernel 5, stride 1) + batch norm + ReLU.
• Conv1D(32 → 64, kernel 5, stride 2) + batch norm + ReLU.
• Conv1D(64 → 128, kernel 3, stride 2) + batch norm + ReLU.

Η έξοδος του CNN είναι μια ακολουθία 20 βημάτων με 128 κανάλια ανά βήμα (80 σημεία εισόδου υποδειγματοληπτούνται κατά 4).

Το αμφίδρομο GRU 2 επιπέδων έχει 128 μονάδες απόκρυψης ανά κατεύθυνση, δίνοντας 256 μονάδες ανά βήμα. Το GRU εκτελείται και προς τις δύο κατευθύνσεις και οι έξοδοι συνενώνονται.

Ο decoder CTC είναι ένα μονοεπίπεδο γραμμικό επίπεδο 256 → 96 μονάδων (94 εκτυπώσιμοι χαρακτήρες ASCII συν blank συν pad). Εξάγει μια κατανομή πιθανότητας πάνω σε 96 σύμβολα σε καθένα από τα 20 χρονικά βήματα. Η συνάρτηση απώλειας CTC ευθυγραμμίζει την έξοδο 20 βημάτων με την ακολουθία χαρακτήρων-στόχο κατά την εκπαίδευση.

Συνολικές παράμετροι: 412.000 βάρη για το CNN + 296.000 για το GRU + 24.700 για την κεφαλή CTC = 732.700 παράμετροι.

Στον δίσκο, το κβαντοποιημένο μοντέλο int8 είναι 1,84 MB. Στο L5 επεκτείνεται σε 1,92 MB κατά την εκτέλεση (με αναδίπλωση batch norm). Στα Q8 και T2 με επιτάχυνση NPU, το μοντέλο int8 εκτελείται ως ένα ενιαίο blob 1,84 MB.

5. Δεδομένα εκπαίδευσης και ακρίβεια

Το μοντέλο εκπαιδεύεται σε σώμα κειμένων 2,4 εκατομμυρίων δειγμάτων χειρογράφου που συλλέχθηκαν από 4.800 συγγραφείς σε 14 χώρες. Οι συγγραφείς περιλάμβαναν αριστερόχειρες και δεξιόχειρες, ηλικίες 5 έως 70 ετών. Κάθε συγγραφέας παρήγαγε 500 έως 800 δείγματα μεμονωμένων χαρακτήρων, σύντομων λέξεων και σύντομων αριθμητικών εκφράσεων. Το σύνολο δεδομένων είναι ισορροπημένο στα Αγγλικά, Ισπανικά, Γαλλικά, Γερμανικά, Ιταλικά, Πορτογαλικά, Αραβικά, Κινέζικα, Ιαπωνικά, Κορεάτικα, Ρωσικά, Χίντι, Ταϊλανδικά και Βιετναμέζικα.

Ακρίβεια σε επίπεδο χαρακτήρα σε ένα σύνολο δοκιμής 80.000 δειγμάτων που δεν περιλαμβάνονται στο σύνολο εκπαίδευσης:

Η ακρίβεια σε επίπεδο λέξης σε ένα ξεχωριστό σύνολο δοκιμής 10.000 λέξεων (Αγγλικά) είναι 92,4% στο L5, 94,8% στο Q8 και 95,7% στο T2. Η ακρίβεια λέξης είναι πάντα χαμηλότερη από την ακρίβεια χαρακτήρα, επειδή ένας και μόνο λάθος αναγνωρισμένος χαρακτήρας μπορεί να ακυρώσει μια λέξη.

6. Ο αποκωδικοποιητής CTC και το γλωσσικό μοντέλο

Ο αποκωδικοποιητής CTC παράγει μια ακολουθία ζευγών (σύμβολο, πιθανότητα). Συμπτύσσουμε τις επαναλήψεις και αφαιρούμε τα κενά για να λάβουμε μια ακολουθία υποψήφιων χαρακτήρων. Στη συνέχεια, ένα γλωσσικό μοντέλο 4-gram επαναξιολογεί τους 5 κορυφαίους υποψήφιους και επιλέγει αυτόν με την υψηλότερη βαθμολογία.

Το γλωσσικό μοντέλο είναι ένα συμπαγές μοντέλο KenLM με 32 εκατομμύρια n-grams, που καταλαμβάνει 18 MB στον δίσκο και 24 MB στη μνήμη RAM κατά την εκτέλεση. Το LM είναι μόνο για Αγγλικά στο L5· τα Q8 και T2 περιλαμβάνουν ξεχωριστά LM για Ισπανικά, Γαλλικά, Γερμανικά, Ιταλικά, Πορτογαλικά, Αραβικά, Κινέζικα, Ιαπωνικά, Κορεάτικα, Ρώσικα, Χίντι, Ταϊλανδικά και Βιετναμέζικα, συνολικού μεγέθους 187 MB και για τις 13 γλώσσες.

Για τους αγοραστές OEM που επιθυμούν ένα προσαρμοσμένο LM (για παράδειγμα, ένα ειδικό λεξιλόγιο για εκδότες), μπορούμε να εκπαιδεύσουμε ένα LM τομέα από ένα σώμα κειμένων που παρέχει ο πελάτης, με μόλις 50.000 προτάσεις. Ο κύκλος εκπαίδευσης διαρκεί 6 ώρες σε μία μόνο GPU A100. Το προσαρμοσμένο LM αντικαθιστά το γενικό LM στο firmware και προσθέτει 4 έως 8 MB ανάλογα με το μέγεθος του λεξιλογίου.

7. Κβάντιση μοντέλου και παραλλαγές πλατφόρμας

Διαθέτουμε τρεις παραλλαγές κβάντισης:

• float32: 2,93 MB στον δίσκο, 3,04 MB κατά την εκτέλεση, καθυστέρηση CNN 32 ms στο L5. Χρησιμοποιείται μόνο για αποσφαλμάτωση.
• int8 per-channel: 1,84 MB στον δίσκο, 1,92 MB κατά την εκτέλεση, καθυστέρηση CNN 32 ms στο L5. Προεπιλογή για το L5 και την έκδοση CPU για Q8/T2.
• int8 per-tensor (φιλικό προς NPU): 1,81 MB στον δίσκο, 1,81 MB κατά την εκτέλεση, καθυστέρηση CNN 10 ms στο Q8 NPU, 6 ms στο T2 NPU.

Η παραλλαγή που είναι φιλική προς το NPU στρογγυλοποιεί κάθε τανυστή με έναν ενιαίο συντελεστή κλίμακας αντί για κλίμακες ανά κανάλι, κάτι που κοστίζει 0,3 ποσοστιαίες μονάδες ακρίβειας αλλά επιτρέπει την επιτάχυνση 3x έως 5x στο NPU. Η πτώση ακρίβειας ανακτάται με ένα μικρό βήμα βαθμονόμησης, όπου περνάμε 4.000 δείγματα από το μοντέλο int8 και προσαρμόζουμε τις κλίμακες.

8. Αποτύπωμα Μνήμης και Κατανάλωση Ισχύος

Στο L5 με το μοντέλο int8 per-channel, η μηχανή HTR καταναλώνει:

• 1,92 MB μοντέλο στο flash, φορτώνεται σε 1,92 MB RAM κατά την αναγνώριση.
• 24 MB LM στη RAM (μόνο Αγγλικά).
• 1,1 MB ring buffer και προσωρινός χώρος προεπεξεργασίας.
• Συνολικό working set: 27 MB RAM, αφήνοντας 69 MB περιθώριο στα 96 MB διαθέσιμης μνήμης.

Μέση κατανάλωση ισχύος κατά τη διάρκεια μιας λειτουργίας αναγνώρισης: 92 mW για 70 ms = 6,4 mJ ανά λέξη. Στα 250 mW μέση ισχύ σάρωσης, η μηχανή HTR προσθέτει περίπου 2,5% στον συνολικό προϋπολογισμό ισχύος του συστήματος. Στα Q8 και T2 η ενέργεια ανά αναγνώριση είναι 3,4 mJ και 2,1 mJ αντίστοιχα.

9. AQL στη Γραμμή Βαθμονόμησης HTR

Κάθε μονάδα L5, Q8 και T2 εκτελεί ένα αυτοέλεγχο HTR 12 δευτερολέπτων κατά τη βαθμονόμηση. Ο έλεγχος παρουσιάζει μια σταθερή συμβολοσειρά 32 χαρακτήρων μέσω του προσομοιωτή αφής και ελέγχει το αναγνωρισμένο αποτέλεσμα σε σχέση με μια γνωστή ορθή αναφορά. Κριτήρια αποδοχής:

• Ακριβής αντιστοιχία συμβολοσειράς εντός 70 ms: pass.
• Ακριβής αντιστοιχία συμβολοσειράς εντός 90 ms: pass με σημείωση.
• Σφάλμα 1 χαρακτήρα: επανεπεξεργασία (reflash μοντέλου, επαναβαθμονόμηση).
• Σφάλμα 2+ χαρακτήρων ή καθόλου έξοδος εντός 100 ms: απόρριψη.

Σε 8.000 μονάδες L5 που βαθμονομήθηκαν το Q1 2026, η απόδοση πρώτης διέλευσης ήταν 95,6%, το ποσοστό επανεπεξεργασίας 3,1%, και το ποσοστό απόρριψης 1,3%. Η κυρίαρχη αιτία απόρριψης είναι ένα εσφαλμένα flashed μοντέλο int8 από αλλοιωμένη μεταφορά OTA, το οποίο μετριάζουμε μέσω ελέγχου checksum σε κάθε εκκίνηση.

10. Καθορισμός HTR σε Σύμβαση OEM

Μια αξιόπιστη προδιαγραφή HTR περιλαμβάνει:

• Αρχιτεκτονική μοντέλου και κβαντοποίηση (παρέχουμε int8 per-channel από προεπιλογής).
• Ακρίβεια σε επίπεδο χαρακτήρα ανά πλατφόρμα σε held-out test set (Αγγλικά ≥ 96%, Κινέζικα ≥ 93%).
• Καθυστέρηση αναγνώρισης στην πλατφόρμα-στόχο (L5 ≤ 80 ms, Q8 ≤ 35 ms, T2 ≤ 25 ms).
• Μέγεθος LM και υποστηριζόμενες γλώσσες.
• SLA εκπαίδευσης προσαρμοσμένου LM (10 εργάσιμες ημέρες για παραγγελίες άνω των 5.000 μονάδων).
• Κριτήρια pass AQL (ακριβής αντιστοιχία εντός 90 ms στη συμβολοσειρά βαθμονόμησης).

Για περισσότερα σχετικά με το πώς η μηχανή HTR ενσωματώνεται με την αναζήτηση λεξικού, δείτε Μορφή και Έκδοση Αρχείου Λεξικού του Αναγνωστικού Στυλό. Για το πώς είναι δομημένη η μηχανή OCR που αναγνωρίζει τυπωμένο κείμενο, δείτε Μηχανή OCR Αναγνωστικού Στυλό έναντι OCR με Βαθιά Μάθηση. Για το πώς γίνεται η προεπεξεργασία των δειγμάτων αφής, δείτε Δοκιμή Ακρίβειας Αφής και Τρεμοπαίγματος του Αναγνωστικού Στυλό. Για τη γλώσσα προδιαγραφών OEM που προτείνουμε για την αποδοχή χειρογράφου, δείτε Πρότυπο Προδιαγραφών OEM και ODM για Αναγνωστικό Στυλό. Για να ζητήσετε ένα δείγμα 5 μονάδων με προσαρμοσμένο LM εκπαιδευμένο στο δικό σας corpus, δείτε /request-a-quote.

Σχετική Ανάγνωση

• Μηχανή OCR Αναγνωστικού Στυλό έναντι OCR με Βαθιά Μάθηση
• Ανίχνευση και Τμηματοποίηση Κειμένου στο Αναγνωστικό Στυλό
• Δοκιμή Ακρίβειας Αφής και Τρεμοπαίγματος του Αναγνωστικού Στυλό
• Μορφή και Έκδοση Αρχείου Λεξικού του Αναγνωστικού Στυλό
• Αλγόριθμος Αναγνώρισης Χειρονομιών Αναγνωστικού Στυλό
• Αρχιτεκτονική Υλικολογισμικού Αναγνωστικού Στυλό — Επεξήγηση

Συμπληρωματική Ανάγνωση: HTR για Εισαγωγή Μαθηματικών και Εξισώσεων

Η μηχανή HTR χρησιμοποιείται επίσης σε λειτουργία εισαγωγής μαθηματικών στα L5, Q8 και T2. Στη λειτουργία μαθηματικών, το μοντέλο αναγνωρίζει μεμονωμένα ψηφία και 18 σύμβολα τελεστών, συν 14 ελληνικά γράμματα και 9 γεωμετρικά σχήματα. Το λεξιλόγιο της λειτουργίας μαθηματικών είναι μικρότερο (41 σύμβολα έναντι 96 στο τυπικό λεξιλόγιο HTR), επομένως το γλωσσικό μοντέλο μπορεί να είναι ένα απλό bigram αντί για 4-gram, και το μέγεθος LM μειώνεται σε 1,4 MB.

Η ακρίβεια στη λειτουργία μαθηματικών σε ένα test set 5.000 εκφράσεων είναι 98,7% σε επίπεδο συμβόλου στο T2 και 96,9% στο L5. Χρησιμοποιούμε έναν αποκωδικοποιητή με επίγνωση γραμματικής που περιορίζει την έξοδο σε έγκυρα δέντρα εκφράσεων, μειώνοντας τα σφάλματα σε αμφιλεγόμενες εισόδους όπως "x × 2" έναντι "x · 2" έναντι "x ÷ 2."

Για σχολικά προγράμματα μαθηματικών που στοχεύουν K-6, η λειτουργία μαθηματικών HTR ήταν η πιο περιζήτητη δυνατότητα τους τελευταίους 18 μήνες. Έχουμε παραδώσει τη λειτουργία μαθηματικών HTR σε 7 πελάτες OEM σε 5 χώρες, με σύνολο 14.500 μονάδες T2. Η μέση χρήση της λειτουργίας μαθηματικών είναι 8,4 λεπτά ανά μαθητή ανά ημέρα, που είναι πολύ εντός της 14 ωρών αυτονομίας μπαταρίας του T2.

Η λειτουργία μαθηματικών είναι επίσης η διαδρομή που καταναλώνει το μεγαλύτερο μέρος του NPU 1,2 TOPS στο T2. Η συνεχής εισαγωγή μαθηματικών στις 30 εκφράσεις ανά λεπτό οδηγεί το NPU του T2 στο 78% χρησιμοποίησης, με τη θερμοκρασία του πακέτου SoC να ανεβαίνει από 28 °C σε αδράνεια σε 41 °C μετά από 5 λεπτά συνεχούς εισαγωγής. Και τα δύο νούμερα είναι εντός του εύρους εμπορικής λειτουργίας 0 °C έως 70 °C.