Como as canetas de leitura OEM/ODM implementam a gestão de diálogo no dispositivo: rastreamento de estado, política, coerência em múltiplos turnos, latência e o que os compradores devem verificar em pilotos.

Publicado em: jul 22, 2020 - 158 Visualizações

Caneta de Leitura IA Conversacional e Gestão de Diálogo: Como os Agentes de Voz OEM Mantêm a Coerência

Público-alvo: Este artigo destina-se a responsáveis técnicos de produto em empresas de edtech, editoras e distribuidores importadores que avaliam a experiência de voz multi-turno numa caneta de leitura SmartReadingPen OEM/ODM — especificamente se uma caneta consegue manter uma conversa coerente durante pelo menos 5 turnos sem perder o contexto, e como as escolhas de gestão de diálogo se traduzem em resultados na sala de aula e no custo unitário.

Uma caneta de leitura já não é um dispositivo de "tocar e ouvir" pontual. No firmware da Q6, Q8 e T2 (3.3.1 / 3.3.1 / 2.6.4, respetivamente), um aprendiz pode dizer:

"O que significa fotossíntese?" → a caneta define o conceito. "Podes dar-me um exemplo?" → a caneta lê uma frase contextual do livro atual. "Testa-me sobre isso" → a caneta constrói uma pergunta de escolha múltipla. "Torna mais fácil" → a caneta muda para vocabulário do 4.º ano. "Lê a resposta em voz alta" → a caneta reproduz em TTS a opção correta.

Cinco turnos, quatro mudanças de contexto, um estado de diálogo persistente. Se o gestor de diálogo estiver mal afinado, a caneta responde ao terceiro turno como se fosse o primeiro. Se estiver bem afinado, a mesma caneta justifica um prémio de retalho de 35% face a concorrentes de turno único.

Este é o brief de engenharia sobre a nossa stack de gestão de diálogo — o rastreador de estado, a rede de política, as regras de fallback e os critérios de aceitação exatos que entregamos a um piloto de um distrito escolar.

1. Por que a Gestão de Diálogo é Diferente da NLU

A classificação de intenção NLU decide o que o utilizador disse. A gestão de diálogo decide o que o sistema deve fazer a seguir, considerando (a) a saída atual da NLU, (b) os turnos anteriores, (c) o estado do dispositivo (livro atual, idioma atual, ano de escolaridade atual) e (d) o perfil do utilizador (nível de leitura, flag de adaptação para dislexia).

Um gestor de diálogo para caneta de leitura tem de correr totalmente no dispositivo. Existem três razões:

  • Latência. Uma conversa de 5 turnos encaminhada para a nuvem adiciona 250–600 ms por turno aos 200 ms de latência da NLU, ultrapassando o teto de 350 ms.
  • Privacidade. A voz de menores não pode ser transmitida para uma nuvem de terceiros ao abrigo do COPPA, do GDPR-K, da PIPL e da LGPD sem consentimento explícito e verificável.
  • Resiliência offline. Uma implementação escolar de 12.000 unidades numa escola pública brasileira não pode depender do Wi-Fi da sala de aula.

2. A Arquitetura de Diálogo em Três Camadas

O nosso firmware executa um gestor de diálogo em camadas que designamos RDM-DM (Reading-pen Dialogue Manager):

Camada Função Tamanho na NAND Latência (Q8)
Dialogue State Tracker (DST) Mantém um estado de crença sobre 24 slots de diálogo 3,4 MB INT8 14 ms
Policy Network Mapeia estado → ação do sistema 4,1 MB INT8 11 ms
Response Generator Seleciona template de TTS ou constrói SQL 0 (templates) 6 ms

O DST é um encoder BERT-small recorrente com uma rede de apontamento ao nível do slot. A política é um Transformer de 2 camadas treinada com Proximal Policy Optimization sobre 84.000 diálogos simulados mais 6.200 diálogos recolhidos por humanos da mesma coorte de crianças descrita no nosso brief de NLU.

Reading Pen Dialogue Manager (RDM-DM) Stack

3. O Estado de Crença de 24 Slots

O DST mantém uma distribuição de probabilidade sobre 24 slots de diálogo. Doze deles são independentes do conteúdo (por ex., current_grade, voice_speed, tts_voice, language_pair); doze são vinculados ao conteúdo (por ex., current_book_id, capítulo atual, id_da_palavra_atual, pontuação_do_questionário_sessão).

Grupo de slots Slots de exemplo Persistência
Perfil do utilizador faixa_etária_utilizador, indicador_dislexia, voz_preferida 30 dias
Estado da sessão livro_atual, página_atual, última_intenção sessão
Estado do questionário questionário_ativo, pontuação_questionário, sequência_questionário sessão
Definições velocidade_voz, tom_voz, formato_tts 90 dias
Cache de conteúdo última_definição, último_exemplo, última_palavra 5 turnos

Um estado de crença é atualizado a cada turno com 0,91 de precisão média das posições nas 12 localizações, medida como 1 − pontuação Brier média nas 24 posições. O DST também realiza resolução de elipse ("lê mais devagar" herda o tts_speed anterior e atualiza-o) e resolução de correferência ("e aquele?" aponta para last_word).

4. Rede de Política e Espaço de Ações

A rede de política produz uma distribuição sobre 38 ações de sistema, incluindo:

  • ler_palavra, ler_frase, ler_página
  • consultar_dicionário, traduzir_para, próxima_pergunta, repetir_pergunta
  • definir_velocidade, definir_voz, definir_nível, definir_idioma
  • abrir_livro, página_seguinte, página_anterior, fechar_livro
  • clarify_ask_back, clarify_offer_options, fallback_help

A ação com a maior probabilidade posterior é despachada, sujeita a um filtro rígido de segurança que bloqueia qualquer ação que modifique o PIN do controlo parental, desative os sinalizadores COPPA ou altere a região do firmware sem autenticação.

A política é treinada com uma recompensa personalizada que combina:

  • Sucesso da tarefa (+1,0 se o objetivo do utilizador for alcançado em 5 turnos)
  • Eficiência de turnos (−0,05 por turno além do mínimo necessário)
  • Penalidade de latência (−0,001 por ms acima de 250 ms)
  • Bónus de segurança (+0,2 se nenhuma regra de segurança for acionada)

Esta recompensa é calculada sobre os 84.000 diálogos simulados gerados por um simulador de utilizador que imita uma criança de 6 anos, 9 anos e 12 anos, cada uma com três perfis de ruído (sem ruído, ruído de sala de aula, ruído doméstico).

5. Coerência Multi-Turno em Ambiente Real

Em mais de 47.000 unidades enviadas desde 2023, medimos a coerência multi-turno como a fração de diálogos em que o sistema resolve corretamente pelo menos uma elipse ou referência em 5 turnos. O número móvel de 12 meses é de 89,4% em en-US, 86,2% em zh-CN, 84,7% em de-DE.

Multi-Turn Coherence by Locale

6. Recuperação de Falhas e Estratégias de Clarificação

Um agente conversacional que não consegue recuperar de um mal-entendido é inútil numa sala de aula. A nossa política inclui uma cascata de clarificação em 3 níveis:

  1. Confirmação implícita — repetir o pedido do utilizador ("Quer que eu lido mais devagar, certo?") e prosseguir.
  2. Clarificação explícita — fazer uma pergunta de desambiguação sim/não ("Quer dizer 'traduzir para espanhol' ou 'traduzir para francês'?")
  3. Fallback aberto — oferecer um menu top-3 de intenções prováveis lidas em voz alta ("Posso ler esta palavra, traduzi-la, ou fazer um quiz. Qual prefere?")

A cascata é acionada por um limiar de confiança na saída da política: implícita se p ≥ 0,65, explícita se 0,40 ≤ p < 0,65, fallback aberto se p < 0,40. Nas nossas 12 localizações, a taxa de fallback é em média 4,1% dos turnos, com a taxa mais alta em de-DE (6,8%) devido à ambiguidade dos substantivos compostos.

Dica para o comprador: Quando solicitar uma amostra, grave pelo menos 20 diálogos multi-turno no ruído de sala de aula alvo e verifique quantas vezes a caneta pede clarificação. Uma taxa de clarificação acima de 8% frustrará crianças de 7 anos e aumentará as devoluções.

7. Pegada no Dispositivo e Impacto na Bateria

O gestor de diálogo completo — DST, política e templates — adiciona 7,5 MB à imagem do firmware. A quantização INT8 é obrigatória; FP32 elevaria o orçamento de NAND do Q8 de 256 MB para 312 MB e exigiria uma nova revisão da placa. O diálogo multi-turno contínuo na latência nominal P95 (38 ms) consome 31 mW da célula de 1.000 mAh do Q8, o que é desprezável comparado aos 480 mW de potência de reprodução TTS. Uma sessão de conversa de 30 minutos consome aproximadamente 6% da bateria, mantendo intacta a janela nominal de 7,0 h de reprodução áudio para leitura normal.

8. Personalização sem cloud

Cada caneta guarda um perfil de utilizador em NAND encriptada (AES-128-XTS), com chave derivada do número de série do dispositivo. O perfil armazena:

  • Nível de leitura (detetado automaticamente pela precisão nos quizzes, intervalo K–12)
  • Sinalizador de adaptação para dislexia (definido pelo encarregado de educação na app complementar)
  • Voz e velocidade preferidas (atualizadas quando o utilizador emite set_speed 3 ou mais vezes)
  • Registo de sessões dos últimos 30 dias (últimas 200 interações de diálogo, com hash local)

Os perfis nunca são carregados sem consentimento parental explícito e assinado. O comportamento predefinido é exclusivamente local. Este é um compromisso contratual ao abrigo do nosso dossier de conformidade com o RGPD e é replicado na funcionalidade controlos parentais COPPA.

9. Percurso de personalização OEM para editoras e marcas

Uma co-branding com editora ou uma marca de brinquedos educativos costuma pretender modelos de diálogo com marca: «Olá, sou o Capitão Cometa da Galaxy Books. O que queres explorar?» Opções de personalização:

Personalização NRE único Royalty por unidade
Saudação com marca (1 voz, 1 idioma) 1 200 $ 0 $
Intent personalizado (por ex., open_publisher_activity) 2 400 $ 0,04 $
Fluxo de diálogo personalizado (até 8 interações) 8 500 $ 0,08 $
Voz com marca (TTS personalizado, ver TC-136) a partir de 18 000 $ 0,25 $

Estes valores são cotados como parte de um contrato-quadro de canetas de leitura por atacado com MOQ de 3 000 unidades para moldes personalizados e 5 000 unidades para marca própria. O prazo desde o arranque até à produção em massa é de 75 dias para um fluxo de diálogo personalizado, incluindo 14 dias de piloto em sala de aula e 7 dias de testes red-team.

10. O que verificar antes de assinar

Cinco verificações de engenharia incontornáveis para qualquer fornecedor de canetas de leitura que afirme ter «IA conversacional»:

  1. IA totalmente no dispositivo? Exija um teste de corte de rede durante o piloto. Se o diálogo parar, dependia da cloud.
  2. Métrica de coerência multi-turno. Peça o número de coerência a 5 turnos por localidade num conjunto de teste held-out de pelo menos 1 000 diálogos. Abaixo de 80% não está pronto para sala de aula.
  3. Latência sob carga. Meça a latência P95 numa Q6 ou Q8 com TTS em segundo plano. Acima de 350 ms, as crianças perdem a paciência.
  4. Taxa de fallback. Abaixo de 5% em en-US, abaixo de 7% na localidade mais fraca.
  5. Portabilidade do perfil. Pode uma criança mover o seu perfil para uma nova caneta através da app complementar, ou o perfil está bloqueado ao dispositivo? Para distritos escolares com frotas de dispositivos partilhados, a resposta é importante.
Pedir orçamento — obtenha uma resposta rápida da fábrica

Leitura relacionada

Pedir orçamento — obtenha uma resposta rápida da fábrica

11. Capacidade de produção e historial da fábrica

O módulo de gestão de diálogo — DST, rede de políticas, modelos de resposta e o perfil de utilizador encriptado — está integrado em todas as imagens de firmware das canetas de leitura SmartReadingPen OEM/ODM flashed nas nossas linhas de produção em Shenzhen Longhua e Dongguan Houjie. Ambas as linhas operam sob ISO 9001 e ISO 14001 certificações e implementam a disciplina de controlo de processo IATF 16949-style adaptada à eletrónica de consumo. O débito diário médio é de 6,800 finished units por dia, com um pico de turno de 11,400 units durante a campanha de regresso às aulas de setembro de 2025. O módulo de diálogo de 7.5 MB reside numa partição de firmware assinada, verificada por SHA-256 contra o manifesto em cada arranque a frio; uma verificação falhada força a caneta a entrar em modo de recuperação, que reflasha a partir da imagem golden no plano NAND secundário. Os SKUs B1, B2, F8, K7, KF1, L5, P2, Q6, Q8, T2 e Y6 são enviados com chaves AES-128-XTS por dispositivo, fundidas durante a estação FCT, para que o estado de crença de cada utilizador esteja vinculado a uma chave única não exportável. O yield de primeira passagem em produção em massa situa-se em média nos 98.6% ao nível AQL II (Crítico 0, Major 1.0, Minor 2.5). O calendário de produção pode ser reservado com 75 days de antecedência face à data de envio solicitada para SKUs standard e com 105 days para moldes personalizados ou fluxos de diálogo com marca. Para reservar uma janela de produção ou para request a sample dialogue flow preview, a nossa equipa de gestão de programa responde no prazo de um dia útil.

12. Cobertura de certificações em 47 países

Cada caneta equipada com o gestor de diálogo é acompanhada de um portfólio de certificações adequado ao mercado de destino: CE (RED/EMC/LVD), FCC Part 15, UKCA, EN 71-1/2/3, ASTM F963, CPSIA/CPC, RoHS, REACH, PSE (Japão), KC (Coreia), GCC/SFDA (Arábia Saudita), SNI (Indonésia), NOM (México), INMETRO (Brasil), RCM (Austrália/NZ), NRCS LOA (África do Sul) e ESMA/TIS (EAU/Tailândia). O transporte de baterias é assegurado pelas certificações UN38.3 e IEC 62133 com MSDS documentação; a proteção de dados está documentada para GDPR, COPPA, PIPL, LGPD, Thailand PDPA, e California Prop 65. O próprio gestor de diálogo não transmite áudio nem estado de crença para fora do dispositivo, o que constitui o maior trunfo de conformidade para ciclos de aquisição de distritos escolares que exigem evidências verificáveis de minimização de dados COPPA e GDPR-K. Para novas jurisdições fora da atual presença em 47 países, é produzido um novo dossiê ao custo de $1,800 por localidade com um prazo de entrega de 15 dias úteis; pacotes de dossiês em volume para implementações multi-país são orçamentados através do formulário request-a-quote.

13. Preços OEM e Referência de Prazos

O gestor de diálogo está incluído no pacote de firmware padrão ao preço de fábrica de $3,80–$14,50 por unidade nos 11 SKUs de produção. Faixas por tier: P2 (500 mAh) de entrada na faixa baixa, B1/B2/F8/K7/KF1 gama média a $5,40–$8,60, L5/P2/Q6 gama média a $7,20–$10,40, e Q8/T2/Y6 premium a $11,80–$14,50 com NAND e bateria maiores. Saudações personalizadas com marca custam $1.200 NRE sem royalties, intenções personalizadas $2.400 NRE mais $0,04 por unidade, fluxos de diálogo personalizados de 8 turnos $8.500 NRE mais $0,08 por unidade, e uma voz personalizada totalmente clonada (associada ao nosso pipeline de prosódia) começa em 18 000 USD de NRE com uma royalty de 0,25 USD por unidade. Escalões de MOQ: 500 unidades para stock neutro, 1 000 para cor personalizada, 3 000 para logótipo serigrafado personalizado, 5 000 para private label completo com embalagem para retalho. O prazo de entrega padrão é de 75 dias desde a encomenda até à saída da fábrica, com opções aceleradas de 45 dias disponíveis mediante uma taxa de expedição de 12% para encomendas acima de 10 000 unidades. As condições de pagamento são T/T 30/70, L/C à vista, OA para clientes recorrentes e PayPal para encomendas de amostras.

14. Métricas de Validação Interna a partir de 47 000+ Unidades Enviadas

Após mais de 47 000 unidades implementadas em 47 países desde 2023, o gestor de diálogo registou 2,4 milhões de sessões de diálogo e 11,4 milhões de turnos individuais. A ação mais frequentemente despachada é tts_read_word (38,2% dos turnos), seguida por translate_to (22,7%), dict_lookup (14,1%), quiz_next (9,4%), set_speed (5,8%) e book_next_page (4,3%). Os restantes 5,5% distribuem-se por 32 ações menos frequentes, incluindo clarify_ask_back, fallback_help, e pair_device. A duração média da sessão é de 6.2 turnos e a duração do percentil 95 é de 11.4 turnos. O abandono de sessão (turnos que terminam sem uma ação explícita de stop ou close_book) é de 3.8%, sobretudo devido à recolha física da caneta por um dos pais ou irmão a meio do diálogo. O contrato-quadro de wholesale reading pensmaster agreement abrange 86 versões de firmware até à data nos 11 SKU, com o seguinte mapa de versões atual: B1/B2 em 2.4.7, F8 em 3.1.2, K7/KF1 em 1.9.5, L5 em 4.2.0, P2 em 2.0.3, Q6/Q8 em 3.3.1, e T2/Y6 em 2.6.4.

Dialogue Manager Action Distribution (11.4M turns)

15. Conclusões para o Comprador de Engenharia

Cinco regras práticas para a aquisição de gestores de diálogo OEM/ODM:

  1. Realizar sempre um piloto de 30 dispositivos / 14 dias antes da PO-quadro. Os dados do piloto capturam a taxa real de fallback (4,1% de base en-US) e o valor real de coerência no seu conjunto de conteúdos.
  2. Especificar o número máximo de turnos por sessão no arranque. Por defeito, usamos 12 turnos antes do reset do estado de crenças; sessões mais longas acarretam risco de desvio de slots.
  3. Bloquear o copy do template com a equipa editorial antes do lock do firmware. Uma alteração de template após o firmware 3.x custa 0,08 $ por unidade para reenviar via OTA a todos os dispositivos no terreno.
  4. Reservar 5 dias úteis para a revisão das regras de segurança com a nossa equipa de compliance. As regras de PIN parental, flag COPPA e region-lock são inegociáveis e não podem ser desativadas a pedido do OEM.
  5. Planear uma coorte canário de 5% para o primeiro rollout OTA de qualquer alteração ao fluxo de diálogo. O canário identifica regressões de política antes de chegarem a toda a frota.

Frequently Asked Questions

Quantas voltas de conversa coerente é que uma caneta de leitura SmartReadingPen suporta?
Até 12 interações antes de a rede de políticas reiniciar o estado de crença para evitar o desvio de slots. A coerência num diálogo de 5 voltas atinge em média 89,4% em en-US e 84,7% em de-DE em 11.400 diálogos medidos com 1.840 crianças dos 4 aos 11 anos.
O gestor de diálogo da caneta de leitura envia áudio para a nuvem?
Não. O rastreador de estado de diálogo, a rede de políticas e os modelos funcionam todos no próprio dispositivo, num total de 7,5 MB de footprint INT8 com latência P95 de 31 ms numa plataforma Q8. O áudio nunca sai da caneta, cumprindo os requisitos de COPPA, GDPR-K, PIPL e LGPD para implementações no ensino básico e secundário.
O que acontece quando a caneta de leitura não compreende um comando?
É acionada uma cascata de esclarecimento em 3 níveis: confirmação implícita com confiança da política ≥ 0,65, sim/não explícito entre 0,40 e 0,65 e um menu aberto com as 3 opções principais abaixo de 0,40. A taxa de fallback situa-se em média nos 4,1% em 12 localizações, com o valor mais elevado de 6,8% para os substantivos compostos em alemão.
Pode uma editora personalizar o diálogo com saudações e intenções próprias?
Sim. As saudações de marca custam 1.200 $ de NRE sem royalties, as intenções personalizadas 2.400 $ de NRE mais 0,04 $ por unidade, e os fluxos de diálogo personalizados de 8 voltas 8.500 $ de NRE mais 0,08 $ por unidade. O MOQ é de 3.000 unidades para moldes personalizados; o prazo de entrega é de 75 dias, incluindo um piloto de sala de aula de 14 dias.
Como é protegido o estado de diálogo se a caneta for perdida ou roubada?
O estado de crença de 24 slots, o registo de sessão de 30 dias e o perfil do utilizador são armazenados encriptados com AES-128-XTS em NAND e desencriptados apenas dentro do mundo seguro TrustZone. Uma caneta perdida não pode ser lida sem a chave específica do dispositivo, que é fundida durante o fabrico e nunca é exportada.
O seu carrinho
A sua experiência neste site será melhorada ao permitir cookies. Política de Cookies
Chat on WhatsApp