الجمهور المستهدف:هذه المقالة موجَّهة إلى مهندسي الرؤية الحاسوبية، وقادة دمج تقنيات التعرف الضوئي على الحروف (OCR)، ومدراء منتجات OEM الذين يحتاجون إلى فهم كيف تحد أقلام القراءة من الطرازات B1 وB2 وF8 وK7 وKF1 وL5 وP2 وQ6 وQ8 وT2 وY6 موضع النص داخل صورة صفحة مليئة بالضوضاء، وكيف تُقطّعها إلى مناطق بحجم الأحرف، وكيف تُسلِّم هذه المناطق إلى محرك التعرف الضوئي. نفترض أنكم اطّلعتم على ورقة بحثية حول EAST أو DBNet وتودّون الحصول على أرقام ملموسة من عملية نشر إنتاجية لقلم قراءة.
اكتشاف النص هو المرحلة التي يتغاضى عنها مزوّد محرك التعرف الضوئي عادةً ويذكرها في التفاصيل الدقيقة. نحن لا نتغاضى عنها. إن صورة قلم القراءة ليست مسحاً نظيفاً لمستند؛ بل هي بثّ فيديو بمعدل 60 إطاراً في الثانية يعاني من ضبابية الحركة، وملمس الورق، والتشوّه المنظوري، والإضاءة المتقلّبة. إن العثور على السطر النصّي في المقام الأول أصعب من التعرّف عليه بعد العثور عليه. تتناول هذه المقالة الكاشفين اللذين نُوفّرهما (الاستدلالي + EAST)، واستدلاليات التقسيم، وأرقام زمن الاستجابة لكل طراز، وأنماط الفشل التي يلزم التخطيط لها ضمن برنامج OEM.
1. المرحلتان اللتان تسبقان التعرف الضوئي على الحروف
يستهلك محرك التعرف الضوئي الذي ناقشناه في TC-127 صورة مقصوصة بإحكام تحتوي سطراً واحداً من النص. ولإنتاج هذا القصاصة من صورة صفحة كاملة بأبعاد 640 × 480، نشغّل مرحلتين:
- المرحلة (أ): اكتشاف النص — العثور على منطقة نصّية مرشّحة واحدة أو أكثر داخل صورة الصفحة.
- المرحلة (ب): تقسيم السطر — تحسين كل منطقة مرشّحة لتصبح قصاصة لسطر واحد، مع تصحيح التدوير والمنظور.
المرحلتان مستقلّتان ويمكن ضبط كل منهما على حدة. في الطرازات الأحد عشر، تستخدم المرحلة (أ) إحدى ثلاث تطبيقات وفقاً لفئة الطراز؛ أما المرحلة (ب) فهي مشتركة بين جميع الطرازات.
2. المرحلة (أ) الخيار 1: اكتشاف النص الاستدلالي (B1، B2، P2)
في الطرازات المنخفضة الفئة، لا نشغّل كاشفاً تعلّمياً. وبدلاً من ذلك، نُطبّق تحليلاً للمكوّنات المتّصلة على صورة الصفحة المُثنّاة (المُحَوَّلة إلى ثنائي)، ثم نجمّع المكوّنات بحسب تقاربها الأفقي.
خطّ المعالجة:
- تحويل صورة الصفحة إلى ثنائية باستخدام عتبة تكيّفية (TC-121).
- إيجاد المكوّنات المتّصلة باستخدام ملء الفيضان بترابط رباعي.
- حساب المربع المحيط وتقدير عرض الخطّ لكل مكوّن.
- ترشيح المكوّنات التي يقلّ عرض خطّها عن 1.5 بكسل أو يتجاوز 6 بكسلات (النطاق النموذجي لقلم القراءة عند درجة نقاط 0.07 مم).
- تجميع المكوّنات في أسطر نصّية عبر ملف الإسقاط الأفقي. تُفتتح سطر جديد عند فاصل يساوي 8 بكسلات أو أكبر.
- إرجاع المربعات المحيطة بكل سطر.
تكلّف هذه الطريقة الاستدلالية 4.6 مللي ثانية على معالج Cortex-M4 الخاص بالطراز B1. وهي تعمل بشكل جيّد مع كتب الأطفال النظيفة ذات عرض الخطّ المتّسق والخالية من الرسوم الزخرفية. لكنها تفشل في الحالات التالية:
- اختلاف عرض الخطّ (مثل عنوان إلى جانب نصّ المتن في السطر نفسه).
- رسومات زخرفية يقع عرض خطّها في النطاق من 2 إلى 4 بكسلات.
- خلفيات ملوّنة تُنتج مكوّنات إيجابية كاذبة.
قُسنا معدّل استدعاء اكتشاف الأسطر عند 92.1% على مجموعة أقلام القراءة الفرعية من ICDAR 2015، ودقّة عند 89.4%. وينتج معدّل الإغفال البالغ 7.9% بشكل رئيسي من التعليقات والتذييلات صغيرة الحجم.
3. المرحلة (أ) الخيار 2: EAST خفيف الوزن (F8، K7، KF1، Q6، Y6)
في الطرازات متوسّطة الفئة، نوفّر نسخة مُكمَّمة من كاشف EAST (الكاشف الفعّال والدقيق لنصّ المشاهد). العمود الفقري هو MobileNet-V2 مكوّن من 4 طبقات بمضاعف عرض 0.5x. ودمج الميزات هو هرم ميزات EAST القياسي. ويتنبّأ رأس المخرجات بخريطة نتيجة وبخريطة هندسية ذات 4 قنوات لكل بكسل.
حجم النموذج:
- float32: 3.8 ميغابايت.
- int8: 1.1 ميغابايت.
زمن الاستجابة على معالج Cortex-A53 بتردد 600 ميغاهرتز في الطراز K7: 28 مللي ثانية لكل إطار عند مدخل 320 × 320. وزمن الاستجابة على معالج Cortex-A7 بتردد 800 ميغاهرتز في الطراز F8: 64 مللي ثانية لكل إطار عند مدخل 320 × 320.
نستخدم مدخلاً بأبعاد 320 × 320 بدلاً من الأبعاد الكاملة 640 × 480 لأن كاشف EAST يحتاج فقط إلى تحديد الموضع، لا إلى التعرّف. ثم يُسقَط الشكل الرباعي المُكتشف على الصورة الكاملة الدقّة لعملية القص.
تدرَّب الكاشف على مجموعة مكوّنة من 240,000 صورة صفحة، مع تعزيز اصطناعي بالتشوّهات: الدوران من -10° إلى +10°، والتشوّه المنظوري، وضبابية الحركة، والضغط الشبيه بـJPEG. وتسميات التدريب هي أشكال رباعية، وليست مربعات محاذية للمحاور.
معدّل استدعاء اكتشاف الأسطر على مجموعة أقلام القراءة الفرعية من ICDAR 2015: 96.8%. الدقّة: 95.4%. وينتج معدّل الإغفال البالغ 3.2% بشكل رئيسي من النص الموجود على ورق لامع تُخمد فيه الانعكاسات المرآوية خريطة النتيجة.
4. المرحلة (أ) الخيار 3: DBNet (L5، Q8، T2)
في الطرازات عالية الفئة، نوفّر نسخة مُكمَّمة من كاشف DBNet (الترميز الثنائي القابل للاشتقاق). العمود الفقري هو نفسه MobileNet-V2 بمضاعف عرض 0.5x، لكن الرأس يتنبّأ بخريطة احتمالية وبخريطة عتبات؛ وتُجرى عملية التثنّي على مستوى البكسل باستخدام عتبة متعلَّمة.
حجم النموذج:
- float32: 4.2 ميغابايت.
- int8: 1.3 ميغابايت.
زمن الاستجابة على معالج Cortex-A53 الخاص بالطراز L5: 18 مللي ثانية. وعلى وحدة NPU في الطراز Q8: 11 مللي ثانية. وعلى وحدة NPU في الطراز T2: 7 مللي ثانية.
يتفوّق DBNet على EAST في النصّ المنحني والمُدوَّر لأن العتبة المتعلَّمة تتكيّف مع التباين المحلّي. قسنا معدّل استدعاء لاكتشاف الأسطر بلغ 98.4% ودقّة 97.6% على مجموعة أقلام القراءة الفرعية من ICDAR 2015، أي بفارق 1.6 نقطة مئويّة أفضل من EAST.
الثمن هو زيادة بنسبة 4.7% في استهلاك مساحة الفلاش (1.3 ميغابايت مقابل 1.1 ميغابايت) وحِمل أعلى على المعالج/وحدة NPU بنحو 25%. وبالنسبة إلى الطرازات L5 وQ8 وT2، يُعدّ هذا العبء مقبولاً.
5. المرحلة (ب): تقسيم الأسطر وتصحيح المنظور
بمجرد أن تُعيد المرحلة (أ) الأشكال الرباعية المرشّحة، تعمل المرحلة (ب) على تحسين كل منها لتُنتج قصاصة سطر محاذية للمحاور بإحكام. الخطوات هي:
- توسيع الشكل الرباعي قليلاً من الأعلى والأسفل لضمان التقاط الأحرف النازلة والصاعدة بالكامل. التبطين الافتراضي هو 8% من ارتفاع السطر.
- حساب تحويل منظوري من الشكل الرباعي إلى مستطيل.
- تطبيق التحويل باستخدام الاستكمال الثنائي الخطّ.
- تحويل القصاصة الناتجة إلى ثنائية أو تطبيعها لتُمرَّر إلى محرك التعرف الضوئي.
- تخزين قصاصات الأسطر في طابور لتُسلَّم إلى محرك التعرف الضوئي.
تكلّف المرحلة (ب) من 6 إلى 8 مللي ثانية لكل سطر بحسب طول السطر. وبالنسبة إلى صفحة مكوّنة من 6 أسطر، يبلغ التكلفة الكلّية من 36 إلى 48 مللي ثانية، وهو رقم غير بسيط. يمكننا إنشاء خطّ أنابيب للمرحلة (ب) مع المرحلة (أ): بينما تكتشف المرحلة (أ) السطر 3، تكون المرحلة (ب) تقصّ السطر 2، ومحرك التعرف الضوئي يتعرّف على السطر 1.
6. أرقام شاملة من النهاية إلى النهاية
بالجمع بين كل ما سبق، يكون زمن الاستجابة الشامل من لحظة ملامسة القلم للورق إلى أوّل صوت مُفَكَّك، على صفحة مكوّنة من 6 أسطر يكون فيها السطر المستهدف هو السطر 1:
| الطراز | المرحلة (أ) | المرحلة (ب) | التعرف الضوئي | الإجمالي |
|---|---|---|---|---|
| B1 / B2 | 4.6 مللي ثانية (استدلالي) | 7 ms | 65 ms | 77 ms |
| P2 | 4.6 ms | 7 ms | 65 ms | 77 ms |
| F8 | 64 مللي ثانية (EAST fp32) | 8 ms | 64 ms | 136 ms |
| K7 / KF1 | 28 مللي ثانية (EAST int8) | 8 ms | 38 ms | 74 ms |
| Q6 / Y6 | 26 مللي ثانية (EAST int8) | 8 ms | 38 ms | 72 ms |
| L5 | 18 مللي ثانية (DBNet int8) | 6 ms | 32 ms | 56 ms |
| Q8 | 11 مللي ثانية (DBNet NPU) | 6 ms | 18 ms | 35 ms |
| T2 | 7 مللي ثانية (DBNet NPU) | 6 ms | 11 ms | 24 ms |
يعتبر T2 الأسرع من النهاية إلى النهاية بمدة 24 مللي ثانية. بينما يُعد F8 الأبطأ بمدة 136 مللي ثانية بسبب كاشف EAST بدقّة float32 ومحرك OCR بدقّة float32.
7. أنماط الأعطال التي نلاحظها ميدانياً
منذ عام 2023، ومن أصل أكثر من 47,000 وحدة تم شحنها، تُشكّل أعطال الكشف عن النصوص 6.8% من إجمالي المرتجعات المرتبطة بـ OCR. وفيما يلي توزيعها:
- الانعكاسات الناتجة عن الورق اللامع تُضعف خريطة الدرجات: 32% من أعطال الكشف.
- خلفية داكنة مصبوغة بشدة (مثل صفحة كتاب مدرسي زرقاء داكنة) يتم تصنيفها خطأً كمقدمة للنص: 24%.
- الحرف الاستهلالي المزخرف أو العنوان المصوّر يربك عملية تجميع الأسطر: 18%.
- ملاحظات الهامش المكتوبة بخط اليد تُلتقط كسطر إيجابي كاذب: 14%.
- حركة القلم بسرعة > 250 مم/ث تتسبّب في انحراف بين الإطارات: 8%.
- يُرجِع المرحلة A شكلاً رباعياً مُدوّراً بأكثر من 30° عن الأفقي، ثم تقوم المرحلة B بقصّه مع تشوّه منظوري حاد: 4%.
لمعرفة المزيد حول كيفية تعامل محرك OCR مع قص السطر، يُرجى الاطلاع على مقارنة بين محرك OCR لقلم القراءة و OCR المعتمد على التعلّم العميق. ولمعرفة كيف تُنتج وحدة ISP صورة الصفحة، يُرجى الاطلاع على وحدة ISP لكاميرا قلم القراءة ومعالج إشارة الصورة. ولمعرفة كيف تستهلك عملية البحث في القاموس النصّ المُتعرّف عليه، يُرجى الاطلاع على تنسيق ملف قاموس قلم القراءة وإصداره. ولمعرفة كيف يُحدّد العتاد اختيار الكاشف، يُرجى الاطلاع على برنامج اختبار التصنيع وتركيب المعايرة لقلم القراءة. ولطلب تقرير قياس أداء على محتوى كتابي محدّد، يُرجى الاطلاع على /request-a-quote.
8. مستوى الجودة المقبول (AQL) على خط معايرة الكشف
تُجري كل وحدة اختبار ذاتي مدته 4 ثوانٍ للكشف عن النصوص أثناء المعايرة. يقدّم الاختبار صورة صفحة ثابتة مخزّنة في تركيب المعايرة، ويتحقّق من أن الكاشف يُرجع الأشكال الرباعية الستة المتوقّعة عند الإحداثيات المتوقّعة. معايير القبول:
- الكشف عن جميع الأسطر الستة بتحقيق تداخل IoU ≥ 0.85: اجتياز.
- الكشف عن جميع الأسطر الستة لكن بتداخل IoU يتراوح بين 0.70 و0.85: اجتياز مع ملاحظة.
- الكشف عن 5 من أصل 6 أسطر: إعادة معالجة (إعادة معايرة عتبة الكشف).
- الكشف عن 4 أسطر أو أقل: يُعدّ تالفاً.
من أصل 8,000 وحدة من طراز L5 تمّت معايرتها في الربع الأول من عام 2026، بلغ معدل النجاح من المرور الأول 96.2%، وإعادة المعالجة 2.6%، والتالف 1.2%.
9. تحديد كشف النصوص في عقد OEM
يتضمن تحديد كشف النصوص بشكل قابل للدفاع النقاط التالية:
- بنية الكاشف (heuristic أو EAST أو DBNet) حسب فئة الطراز.
- استدعاء كشف الأسطر ≥ 95% على مجموعة اختبار محددة.
- دقة كشف الأسطر ≥ 95% على مجموعة الاختبار ذاتها.
- زمن الاستجابة الوسيط من البداية إلى النهاية لصفحة من 6 أسطر (لكل طراز).
- معايير اجتياز AQL على سطر المعايرة.
لمشترين OEM الذين يحتاجون دقة أعلى من الكاشف الافتراضي، نوفر إصدار «الكاشف المتميز» الذي يستخدم بنية MobileNet أكبر بعرض 1.0x، مما يضيف 1.4 ميغابايت من الذاكرة Flash و12 مللي ثانية من زمن الاستجابة. يتوفر هذا الإصدار على الطرازات L5 وQ8 وT2 بحد أدنى للطلب يبلغ 5,000 وحدة.
10. مقارنة كشف قلم القراءة بـ EAST العام
يحقق كاشف EAST الخاص بقلم القراءة استدعاءً بنسبة 96.8% على المجموعة الفرعية لأقلام القراءة في ICDAR 2015، لكنه يحقق 96.8% فقط من حيث الاستدعاء على معيار ICDAR 2015 القياسي للنصوص العابرة (وهو الأقرب إلى نصوص مشاهد الشوارع). المجموعة الفرعية الخاصة بقلم القراءة أسهل لأن النص دائمًا مطبوع، ودائمًا على ورق، ودائمًا بمقاسات خطوط معروفة. لذلك يجب قراءة نسبة 96.8% في سياقها الصحيح: إنها الرقم المناسب لمحتوى قلم القراءة، وليس للنصوص العشوائية في المشاهد.
إذا قيّمت أداء كاشف مورّد على معيار ICDAR العابر القياسي وقارنته برقم أداءنا، فأنت تقارن بين شيئين مختلفين. اطلب من المورّد الأرقام الخاصة بالمجموعة الفرعية لأقلام القراءة تحديدًا.
قراءات ذات صلة
- مقارنة محرك OCR لقلم القراءة بـ OCR المعتمد على التعلم العميق
- معالج إشارة الصورة (ISP) لكاميرا قلم القراءة
- محرك التعرف على handwriting قلم القراءة
- صيغة ملف وإصدار قاموس قلم القراءة
- برمجيات وتجهيزات اختبار تصنيع قلم القراءة
- YUV مقابل RGB ومساحة الألوان في قلم القراءة
قراءة تكميلية: الكشف في التخطيطات متعددة الأعمدة والجداول
عادةً ما تحتوي كتب الأطفال على تخطيط بعمود واحد مع كتلة نص واحدة أو اثنتين في كل صفحة. أما الكتب المدرسية الموجهة للطلاب الأكبر سنًا فغالبًا ما تتضمن تخطيطات متعددة الأعمدة مع أعمدة جانبية وملاحظات سفلية وجداول. يتعامل كاشفا EAST وDBNet القياسيان مع التخطيطات متعددة الأعمدة لأن مرحلة تجميع الأسطر تدمج المكونات ضمن نطاق أفقي وتفصل الأعمدة عموديًا. قسنا انخفاضًا بنسبة 1.4% في الاستدعاء على تخطيط من عمودين مقارنةً بالتخطيط من عمود واحد، وهو انخفاض مقبول في معظم حالات الاستخدام المدرسي.
أما تخطيطات الجداول فهي أصعب. يتعامل الكاشف مع كل خلية كمنطقة نص مستقلة، وهو سلوك صحيح، لكن محرك OCR يتعرف بعد ذلك على كل خلية كسطر واحد ولا يعرف أن الخلايا المتجاورة تشكل صفًا واحدًا. لخدمة OCR المدرك للجداول، نوفر إضافة اختيارية لوضع الجداول تعمل بعد الكشف، على الطرازين Q8 وT2 فقط، تستنتج بنية الصفوف والأعمدة من الشبكة الهندسية وتمرر إلى محرك OCR مخرجات مهيكلة. يضيف وضع الجداول من 8 مللي ثانية إلى 14 مللي ثانية من زمن الاستجابة و0.6 ميغابايت من حجم الكود، ويُفعَّل عند الطلب.
تُعد معالجة الحواشي السفلية حالة شائعة من الإيجابيات الكاذبة: فالملاحظة السفلية في أسفل الصفحة غالبًا ما تكون بخط أصغر، وأحيانًا يتم التقاطها كسطر نصي منفصل، وهو ما يُعد صحيحًا، لكنها في أحيان أخرى تُقسَّم عبر سطرين لأن الخط صغير بما يكفي ليظهر فاصل في خوارزمية تجميع الأسطر. نضبط فاصل التجميع إلى 6 بكسلات بدلًا من القيمة الافتراضية البالغة 8 بكسلات على الطرازات K7 وKF1 وQ6 وY6 لتقليل معدل خطأ تقسيم الحاشية من 4.2% إلى 1.6%.