Doelgroep: Dit technisch overzicht is geschreven voor hardwareproductmanagers, audio-ingenieurs en OEM/ODM-inkopers die evalueren of een SmartReadingPen leespen de stem van een kind kan opvangen op gespreksafstand (0,3–1,5 m) in een echt klaslokaal (55–75 dB SPL) zonder dat het kind de pen naar zijn mond hoeft te brengen.
Een leespen die op 5 cm afstand van de mond wordt gehouden is gemakkelijk te engineeren. Een leespen ter grootte van een marker, plat op een bureau liggend, die een gefluisterd "vertaal naar het Spaans" oppikt van een 9-jarige die 80 cm verderop zit terwijl 28 klasgenoten op de achtergrond praten — dat is een ver-veld audioprobleem. De microfoonarray, het beamforming-algoritme en de ruisonderdrukkingspijplijn moeten allemaal correct zijn, anders faalt de pen op het moment dat een leraar stopt met vasthouden.
Dit is het technisch overzicht over onze 2-MEMS microfoonarray, de beamforming en post-filter pijplijn die op de audio-DSP draait, en het klaslokaal SNR-testprotocol dat u moet uitvoeren voordat u een groothandel leespennen levering accepteert.
1. Het Ver-Veld Probleem in Cijfers
Een 6-jarige die op conversatieniveau spreekt produceert een 55 dB SPL stem op 1 m afstand. Tegen de tijd dat dezelfde stem een pen bereikt die plat op een bureau ligt, daalt het niveau met 6 dB (inverse kwadratenwet in het nabije veld) plus nog eens 4 dB door pen-barrel diffractie en PCB-aardvlak-occlusie, wat uitkomt op 45 dB SPL op de MEMS-diafragma.
Omringend klaslokaalgeluid — 28 kinderen op 55 dB SPL elk, incoherent opgeteld, plus HVAC op 50 dB SPL — produceert een 62 dB SPL achtergrond bij de pen. De signaal-ruisverhouding op de microfoonmembraan is daarom −17 dB, wat onder het ruisvloer van elke single-membraan ASR-engine ligt.
De oplossing is een microfoonarray + beamforming pijplijn die ruimtelijke selectiviteit toevoegt bovenop spectrale ruisonderdrukking.
2. De 2-MEMS Array Geometrie
Onze referentie-array maakt gebruik van twee Knowles SPH0645HT4H-1 MEMS-microfoons gemonteerd op de bovenkant van het hoofd-PCB, op 24 mm afstand langs de lange as van de pen. Beide microfoons zijn naar voren gericht (weg van de hand van de gebruiker). De geometrie is gekozen om ruimtelijke discriminatie te maximaliseren in het azimut-vlak (links/rechts van de pentip) terwijl de array klein genoeg wordt gehouden om in een 142 mm penbehuizing te passen.
| Parameter | Waarde | Technische onderbouwing |
|---|---|---|
| Mic-afstand | 24 mm | lambda/2 bij 7.2 kHz, onderdrukt ruimtelijke aliasing voor spraakband (300 Hz – 4 kHz) |
| Sample rate | 16 kHz | Nyquist bij 8 kHz dekt de spraakband |
| Bitdiepte | 24-bit | 106 dB dynamisch bereik, headroom voor 95 dB SPL pieken |
| Polair patroon (elk) | Omnidirectioneel | Maakt delay-and-sum beamforming mogelijk zonder fase-ambiguïteit |
| Gevoeligheidsovereenkomst | ±1 dB | Vereist voor null-steering nauwkeurigheid |
De twee mics zijn tijdgesynchroniseerd binnen ±5 µs door een gedeelde PDM-klok. Drift over temperatuur wordt gecompenseerd in firmware elke 30 s.
3. De Beamforming Pijplijn
De DSP-pijplijn draait elke 10 ms op een 16 ms frame van stereo PDM-audio:
- PDM-decimatie naar 16 kHz PCM
- DC-blocker (IIR high-pass bij 80 Hz, 2e orde)
- Vertragingscompensatie — pre-steering vertraging van 3 samples toegepast op Mic A
- Delay-and-sum beamformer — Mic A vertraagd met
delta t = (d · cos theta) / c, opgeteld met Mic B, metthetageschat door een GCC-PHAT (Generalized Cross-Correlation with Phase Transform) zoektocht over de 0°–180° halve bol - MVDR post-filter — adaptief Minimum Variance Distortionless Response-filter, 32-tap, werkt bij elke 100 ms update
- RNNoise spectrale poort — neuraal post-filter, 220 kB model, onderdrukt restruis tussen fonemen
- AGC — zie TC-143
De pipeline voegt 38 ms latency end-to-end op een Q8-platform, ruim binnen het 120 ms ASR-budget.
4. Gemeten SNR en ASR-woordnauwkeurigheid
| Scenario | Omgevings-SPL | Stem-SPL @ 1 m | SNR @ enkele microfoon | SNR na bundelvorming | WER (en-US) |
|---|---|---|---|---|---|
| Stille slaapkamer | 35 dB | 50 dB | +15 dB | +21 dB | 4,2% |
| Woonkamer met tv | 60 dB | 55 dB | −5 dB | +4 dB | 7,8% |
| Klasslokaal, 28 kinderen | 62 dB | 55 dB | −7 dB | +2 dB | 9,4% |
| Klasslokaal tijdens groepswerk | 70 dB | 55 dB | −15 dB | −4 dB | 13,6% |
| Buitenspeelplaats | 68 dB | 60 dB | −8 dB | +1 dB | 11,2% |
De typische bundelvormingswinst van +6 dB is het verschil tussen een bruikbare pen en een geretourneerde pen. In het scenario "klaslokaal tijdens groepswerk" daalt de WER met één microfoon van 24% naar 13,6% — net onder de 15%-drempel waaronder NLU-intentclassificatie nog kan herstellen.
5. Waarom 2 microfoons, niet 4 of 6?
We hebben 4-microfoon en 6-microfoon lineaire arrays overwogen. De afwegingen:
| Arraygrootte | Coaxiale versterking | Nul-diepte | Zijdelingse resolutie | BOM-kostprijs | PCB-breedte |
|---|---|---|---|---|---|
| 1 mic (referentie) | 0 dB | 0 dB | Geen | $0.40 | 8 mm |
| 2 mics, 24 mm | +6 dB | −12 dB | 30° | $0.80 | 28 mm |
| 4 mics, 60 mm | +9 dB | −18 dB | 15° | $1.60 | 64 mm |
| 6 mics, 100 mm | +11 dB | −22 dB | 10° | $2.40 | 104 mm |
De 4-mic en 6-mic opties vereisen een langer pennenhuis dat de "marker-achtige" vormfactor doorbreekt waaraan kinderen gewend zijn. Na drie industriële-ontwerpstudies met 240 kinderen in het Shenzhen R&D-gebruikerspanel, kwamen we tot de 2-mic array als de beste balans tussen akoestische prestaties en vormfactor.
Tip voor kopers: Als een leverancier "professionele beamforming" claimt op een single-mic pen, vraag dan naar de WER onder 65 dB SPL omgevingsgeluid. Een single-mic pen zonder spectrale nabewerking zal een WER boven 20% leveren in een echte klas en zal uw pilot falen.
6. De GCC-PHAT-richting-van-aankomstschatter
De beamformer moet weten waar het kind zit. Het GCC-PHAT-algoritme kruis-correlleert de twee mic-signalen na het wit maken van hun specta, wat een scherpe piek produceert op de vertraging die overeenkomt met de aankomstvertraging. De piek wordt omgezet naar een hoek:
theta = arccos((tau · c) / d)
waar tau de aankomstvertraging is, c de geluidssnelheid is (343 m/s), en d de mic-afstand is (0.024 m). De schatter lost hoeken op tot ±5° nauwkeurigheid in de 0°–150° hemisfeer en werkt elke 100 ms bij. Wanneer het kind rond het bureau beweegt, stuurt de beamformer binnen 100 ms.
In een klas met 30 kinderen moet het algoritme het doelkind onderscheiden van het andere 29 sprekers. De MVDR-postfilter handelt dit af door het totale uitgangsvermogen te minimaliseren onderworpen aan een eenheidsversterkingsbeperking in de doelrichting, wat automatisch ruimtelijke nullen op de luidste interferenten plaatst.
7. RNNoise: De laatste 4 dB
Na ruimtelijke filtering zit het restgeluid op ongeveer −4 dB SNR. Het neurale post-filter is een 220 kB-port van het Xiph.org RNNoise-model, getraind op 60 uur klas- en huishoudgeluid. Het werkt in het frequentiedomein en voorspelt elke 10 ms een per-bin versterkingsmasker.
| RNNoise-fase | SNR na fase | WER (en-US) |
|---|---|---|
| Beamformed audio | −4 dB | 13.6% |
| Na RNNoise | +2 dB | 9.8% |
| Na AGC + ASR front-end | +5 dB | 7,4% |
De gecombineerde pipeline (beamform + RNNoise + AGC) brengt de WER voor "klaslokaal tijdens groepswerk" van 24% (single mic) terug naar 7,4%, wat aan de rand van bruikbaarheid in de klas ligt maar acceptabel is voor niet-kritieke intents (vertalen, opzoeken). Voor kritieke intents (set_volume, set_voice, ouderlijk PIN) is een bevestigingsprompt vereist.
8. Stroom- en latentiebudget
De beamforming-pipeline draait op de audio-DSP tegelijkertijd met het wake-word KWS, maar op een ander processing-eiland. Stroom en latentie:
| Fase | Vermogen (mW) | Latentie (ms) |
|---|---|---|
| PDM-capture + decimation | 0,6 | 2 |
| GCC-PHAT DoA-schatting | 0,4 | 4 |
| Delay-and-sum beamformer | 0,7 | 3 |
| MVDR adaptief filter | 1,2 | 5 |
| RNNoise-inferentie | 1,8 | 18 |
| AGC | 0,3 | 1 |
| Output naar ASR | n/v | 5 |
| Totaal | 5,0 mW | 38 ms |
De 5 mW kosten zijn incrementele kosten bovenop de 2,4 mW always-on KWS, in totaal 7,4 mW tijdens actief luisteren. Op een T2-cel (2.500 mAh) levert dit nog steeds 14 uur standby-luistertijd op.
9. Verificatieprotocol voor OEM-kopers
Een 5-staps acceptatietest voor ver-veld-opname op een kandidaat-pen:
- WR in stille kamer op 1 m afstand, 50 dB SPL omgevingsgeluid, 200 wake-word pogingen. Doel: ≥ 99% wake-rate.
- TV-op-3-m test met continu TV-nieuws bij 60 dB SPL, 100 spraakcommando's op 1 m. Doel: ≤ 2 vals-positieven.
- Babbelruis-test met 4 spreker babbel bij 65 dB SPL, 100 commando's op 1 m. Doel: ≥ 90% commando-succesratio.
- Fluistertest op 0,5 m, 40 dB SPL stem, 50 commando's. Doel: ≥ 90% commando-succesratio.
- Bewegend-doelwit test met het kind dat van 0° naar 90° loopt op 1 m afstand, 30 commando's. Doel: ≥ 85% commando-succesratio.
Dit zijn dezelfde 5 tests die we intern uitvoeren bij elke firmware-release.
10. Customisatie en Roadmap
Een museumwinkel of luchtvaart-kids entertainment implementatie heeft mogelijk een bredere opnamekoot nodig (kinderen staan meestal niet op as). We bieden drie customisatietiers:
| Tier | Straalbreedte | Versterking | NRE | Doorlooptijd |
|---|---|---|---|---|
| Narrow (standaard) | 30° | +6 dB | $0 | 0 weken |
| Breed | 60° | +4 dB | $2.400 | 3 weken |
| Omnidirectioneel (alleen post-filter) | 180° | +2 dB | $4.800 | 5 weken |
De routekaart voor 2027 voegt toe neurale beamforming — een 2-laags Conv-TasFormer getraind op 1,2 M klaslokaalclips — die +8 dB winst levert op een 2-mic array en de klaslokaal WER onder 6% brengt. Het maakt deel uit van onze bredere AI-integratieroutekaart 2024-2026.
Gerelateerde artikelen
- Detectie van wake-woord en altijd-ingeschakeld luisteren bij leespen
- MEMS-microfoon en ruisonderdrukking bij leespen
- AGC en automatische versterkingsregeling bij leespen
- Echo-onderdrukking en AEC bij leespen
- Ruisonderdrukking en RNNoise bij leespen
- Geval van gebruik van leespen: aanbesteding openbare schooldistricten
11. Productie & akoestische testdiscipline
De 2-MEMS array, de GCC-PHAT beamforming-firmware, de MVDR adaptieve filter en de RNNoise post-filter zijn geïntegreerd in elke B1, B2, F8, K7, KF1, L5, P2, Q6, Q8, T2 en Y6 eenheid in onze productielijnen in Shenzhen Longhua en Dongguan Houjie, beide ISO 9001 en ISO 14001 gecertificeerd. De Knowles SPH0645HT4H-1 microfoons worden geplaatst binnen een ±0,15 mm positionele tolerantie door een Yamaha YSM20 pick-and-place lijn; de ±1 dB gevoeligheidsovereenkomst wordt per eenheid geverifieerd in de FCT akoestische kamer tegen een 94 dB SPL @ 1 kHz referentie. De beamforming-firmware binary wordt ondertekend en geflasht op hetzelfde station; een end-of-line banktest speelt een gekalibreerde 1 kHz toon van −45° azimut en verifieert een +6 dB ± 0,8 dB on-axis versterking en een −12 dB ± 1,5 dB laterale null. Dagelijks doorvoer gemiddeld 6.800 afgewerkte eenheden, piekverschuiving 11.400 eenheden in september 2025. First-pass yield is 98,6% op AQL II niveau (Critical 0, Major 1,0, Minor 2,5). Productieleadtime is 75 dagen standaard of 45 dagen versneld (12% toeslag, MOQ ≥ 10.000). Monsterleadtime is 7 dagen vanaf request-a-quote.
12. Certificeringsdekking
Elke pen met beamforming wordt geleverd met het certificeringsportfolio van de bestemming: CE (RED/EMC/LVD), FCC Part 15, UKCA, EN 71-1/2/3, ASTM F963, CPSIA/CPC, RoHS, REACH, PSE (Japan), KC (Korea), GCC/SFDA (Saoedi-Arabië), SNI (Indonesië), NOM (Mexico), INMETRO (Brazilië), RCM (Australië/NZ), NRCS LOA (Zuid-Afrika), en ESMA/TIS (VAE/Thailand). Batterijverzending maakt gebruik van UN38.3 + IEC 62133 + MSDS. Privacycompliance is gedocumenteerd voor GDPR, COPPA, PIPL, LGPD, Thailand PDPA, en California Prop 65. De far-field pickup-pijplijn bewaart geen ruwe audio buiten de 10 ms beamforming-ringbuffer, wat het sterkste compliance-argument is voor inkoop door schooldistricten dat verifiable COPPA- en GDPR-K-gegevensminimalisatiebewijs vereist. Nieuwe jurisdicties buiten de basislijn van 47 landen worden gequoteerd op $1.800 per locatie voor een nieuw dossier met 15 werkdagen doorlooptijd.
13. OEM-prijzen en SKU-afwegingen
Far-field beamforming is inbegrepen in de standaard firmware-bundel tegen een fabrieksprijs van $3,80–$14,50 per eenheid over de 11 SKU's. Tier bands: de P2 (500 mAh, 4 MB NAND) op instapniveau, de B1/B2/F8/K7/KF1 middenband op $5,40–$8,60, de L5/P2/Q6 middenband op $7,20–$10,40, en de Q8/T2/Y6 premium op $11,80–$14,50. De 2-mic array BOM-kosten zijn $0,80 per pen ($0,40 × 2 mics) bij 10K MOQ; een 4-mic upgrade voor high-end OEM-programma's kost $1,60 per pen en vereist een 64 mm PCB-breedte (wat het markervormfactor doorbreekt). Aangepaste bundelpatronen worden als volgt gequoteerd: smal (30°) inbegrepen, breed (60°) voor $2.400 NRE met een levertijd van 3 weken, omnidirectioneel (180°) voor $4.800 NRE met een levertijd van 5 weken. MOQ-niveaus: 500 eenheden voor stock neutraal, 1.000 voor aangepaste kleur, 3.000 voor aangepast zeefdruklogo, 5.000 voor volledig privélabel met retailverpakking. Betalingsvoorwaarden zijn T/T 30/70, L/C zicht, OA voor herhalingskopers, PayPal voor samplebestellingen. Om te starten met een OEM/ODM far-field pickup-programma, stuur uw doel-SKU-mix, uw top drie bestemmingen en uw acceptatietestvoorkeur (default, wide of omnidirectioneel) naar request-a-quote; ons engineeringteam retourneert een sized firmware-bundel, een eenheidskostenladder en een compliance-dossierindex binnen één werkdag.
14. Interne validatiemetrics van 47.000+ eenheden
Na 47.000+ eenheden die sinds 2023 in 47 landen zijn ingezet, heeft de beamforming-pijplijn 28,6 miljoen beamformed audioframes bij P95-latentie 38 ms op het Q8-platform. Het meest voorkomende negatieve scenario in het veld is "klaslokaal tijdens groepswerk" bij 70 dB SPL (geregistreerd in 41,2% van de klantondersteuningstickets), gevolgd door "TV-op-3-m-test" (24,6%), "babbelruis bij 65 dB SPL" (18,4%) en "buitenspeelplaats" (15,8%). De beamformer herstelt tot onder 10% WER in 92,4% van de groepswerkscenario's na RNNoise post-filtering. De firmwareversiekaart is de standaard 86-release baseline: B1/B2 2.4.7, F8 3.1.2, K7/KF1 1.9.5, L5 4.2.0, P2 2.0.3, Q6/Q8 3.3.1, T2/Y6 2.6.4. Akoestische gate-misfires (valse acceptaties veroorzaakt door TV-audio onder de spectrale poort) daalden van 1,4% naar 0,4% na de v3.1.2 firmware-update op F8-platforms.
15. Belangrijke punten voor inkopers
Vijf vuistregels voor OEM/ODM far-field pickup-inkoop:
- Voer altijd de 5-staps acceptatietest uit in §9 voordat u een masterbestelling ondertekent. Pilotdata verslaat elke benchmarklijst omdat het uw werkelijke ruisvloer en uw werkelijke kinderlijke-stemverdeling vastlegt.
- Specificeer de bundelbreedte bij firmware-lock. Smal (30°) voor een klaslokaal met bureauvergrendeling; breed (60°) voor retail/reizen; omnidirectioneel (180°) alleen voor museum/luchtvaartimplementaties waar off-axis pickup domineert.
- Houd rekening met 3 weken voor de breedstralende variant en 5 weken voor de omnidirectionele variant. De MVDR post-filter hertraining is de kritieke factor.
- Plan voor een 5% canary OTA-cohort bij de uitrol van de 2027 neurale beamformer (Conv-TasFormer). Canary vangt regressie op in randklassen voordat ze de volledige vloot bereiken.
- Combineer de far-field pickup altijd met de AGC-pijplijn — zonder AGC kan de +6 dB beamforming-versterking de ASR front-end afknippen bij conversatieniveau.