OEM読み上げペンにおけるプロソディモデリングと感情TTSの実装方法:ピッチ・持続時間・エネルギー・キャラクター声・ classroomでの学習効果、および輸入業者が確認すべきポイント。

公開日: 8月 09, 2024 - 175 閲覧数

音読プロソディモデリングと感情音声合成:読み上げペンが感情を込めて読む仕組み

対象となるお客様: この記事は、SmartReadingPen OEM/ODM 読み上げペンの TTS エンジンの表現品質を評価するコンテンツ出版社、教育テック製品のオーナー、調達チーム向けに書かれています。具体的には、ペンがキャラクターに合った感情で物語を読み上げられるか、句読点や談話の手がかりから韻律を予測できるか、子どもの感情状態に機械的にならずに適応できるか、といった点を評価するためのものです。

すべての文を同じ平坦なトーンで読む読み上げペンは、7 歳児の読み聞かせには使えません。怖い場面でゴーストのようなささやき声を出し、ハッピーエンドで cheer してくれる読み上げペンは、$14 のツールと $34 のギフトの差を生みます。韻律、すなわち speech の music は、社内ブラインドテストで知覚される TTS 品質を左右する最大の要因であり、音声の自然さや明瞭さよりも重要です。

本書は、当社の韻律モデリングパイプライン、出荷可能な18種類の感情スタイル、出版者が制御に使用できるSSMLマークアップ、そしてご注文前に実施いただくべき classroom validation protocol に関する技術資料です。ODM reading pens の納品を受け入れる前に実施すべき classroom validation protocol に関するエンジニアリングブリーフです。

1. 読み上げペンにおける韻律とは

韻律とは、音素配列の上に重なる 3 つの音響特徴の組み合わせです。

  1. ピッチ (F0) — 基本周波数 contours。単位は Hz。子どもの声は平均 250 Hz、大人女性は 200 Hz、大人男性は 120 Hz です。
  2. 再生時間 — 各音素を保持する長さ。アクセントのある音節は 30〜50% 長くなり、コンマでのポーズは 150 ms、ピリオドでのポーズは 400 ms です。
  3. エネルギー — 大きさ contours。単位は dB。強調するとエネルギーが 4〜6 dB 上がり、ささやき声ではエネルギーが 10 dB 下がり、ピッチが上がります。

明示的な韻律モデリングを行わない neural TTS は、平坦で機械的な音声になります。韻律モデリングを備えた neural TTS は、呼吸し、強調し、感情を込めた音声を出力します。

2. 韻律予測パイプライン

当社のリファレンス韻律予測器は、FastSpeech 2 acoustic decoder の前に実行される 4.2 MB の Transformer encoder です。入力は音素と linguistic features (POS タグ、談話の手がかり、句読点) の系列であり、出力は音素ごとの (F0, duration, energy) triplet の系列です。前FastSpeech 2 音響デコーダ部です。入力は音素系列と品詞タグ・談話マーカー・区切り記号などの言語特徴量で構成され、出力は音素ごとの (F0, duration, energy) 三要素系列となります。

コンポーネント サイズ レイテンシ (Q8)
言語特徴量抽出部 1.1 MB 6 ms
韻律予測器 (Transformer) 4.2 MB 18 ms
スタイルアダプタ (感情スタイル別) 240 kB × 18 = 4.3 MB 4 ms
FastSpeech 2 音響デコーダ 9.6 MB 32 ms
HiFi-GAN ボコーダ 4.8 MB 14 ms
韻律+TTS 合計 24.0 MB 1 文あたり 74 ms

18 種類の感情スタイルは、style tokens として保存されています。これは 240 kB のベクトルで、12 名の声優による 240 時間の感情演技音声を学習に用いて獲得したものです。スタイルの内訳は次のとおりです。

スタイル ID 名称 用途 ピッチシフト エネルギーシフト
S01 中立 (Neutral) デフォルト読み上げ 0% 0%
S02 喜び (Happy) お祝い、達成シーン +8% +10%
S03 悲しみ (Sad) 喪失、さようなら −12% −8%
S04 興奮 冒険のクライマックス +15% +14%
S05 ささやき 秘密、ミステリー +20% −12%
S06 恐怖 怪談、危機的な場面 +18% −6%
S07 怒り 悪役、対立 −8% +12%
S08 眠気 就寝 −18% −10%
S09 好奇心 (Curious) 疑問、驚きの表現 +6% +2%
S10 自信 断定・宣言 +4% +8%
S11 優しさ 安らぎ、子守唄 −10% −6%
S12 遊び心 冗談、キャラクター +12% +6%
S13 真剣 ニュース、案内 −4% 0%
S14 驚き どんでん返し、暴露 +22% +10%
S15 失望 (Disappointed) 喪失、つまずき −14% −4%
S16 励まし クイズフィードバック +6% +8%
S17 威厳・権威 (Authoritative) 教師モード −6% +4%
S18 愛情深い 親から子へ −8% −2%

Prosody & Emotional TTS Pipeline

3. テキストからの自動検出

明示的なSSMLや書籍ごとのスタイリングがないコンテンツでは、韻律予測器が3つの自動シグナルを使用します:

  1. 区切り記号 — 感嘆符はExcitedまたはHappyを、疑問符はCuriousを、省略記号はSleepyまたはWhisperを誘発します
  2. 談話の手がかり — 「suddenly」「quietly」「happily」「angrily」などのキーワードが対応するスタイルを誘発します
  3. 文中での位置関係 — 段落の最初の文はデフォルトでNeutral;クライマックスとなる文(ヒューリスティック:名詞密度が最高)はExcitedになります

自動検出器によるスタイル合致率は 84.2% 6名の言語学者によって注釈付けされた1,200文の児童書センテンスによるホールドアウトテストセットで達成。15.8%のエラー率はデフォルト読み上げにおいて許容範囲内です; 出版事業者 はプレミアムストーリーテリングのために書籍別JSONで上書きします。

4. 出版社向けSSMLマークアップ

出版社はOIDオーディオスクリプトに埋め込まれたSSMLタグで自動検出器を上書きできます。当社はW3C SSML 1.1サブセットに加え、カスタム emotion タグをサポートしています:

<speak>
  <s>The little rabbit hopped into the garden.</s>
  <s><emotion name="whisper">But something was watching from the shadows.</emotion></s>
  <s><emotion name="scared">"Who is there?" she whispered.</emotion></s>
  <s><emotion name="happy">A friendly butterfly appeared!</emotion></s>
</speak>

カスタム emotion タグは18のスタイルトークンのいずれかにマッピングされます。出版社のオーサリングツール(Webベース)により、編集者はスタイルタグを文にドラッグ&ドロップし、合成音声をリアルタイムでプレビューできます。オーサリングは当社のオーディオチームとの 書籍あたり4,800ドル.

5. 子どもの感情検出とアダプティブ応答

5. 子どもの感情検出と適応応答2027年ファームウェア(Q6/Q8 3.4.0 beta)では、クイズフィードバック中の 上記デバイス上で動作する 480 kB のオンデバイス分類器を介してMEMSマイク 入力で動作する480 kBのオンデバイス分類器による

状態 音響シグネチャ アダプティブ応答
フラストレーション 高いピッチ、速い速度、不規則なポーズ Gentleボイスへの切り替え、TTSを低速化、クイズチャンクを縮小
退屈 低いピッチ、遅い速度、長いポーズ Playfulボイスへの切り替え、クイズを難しく、ゲーム化的フィードバック
自信 安定したピッチ、通常の速度 Encouragingボイスへの切り替え、クイズを難しく、レベルを上昇
不安 変動するピッチ、不規則な速度、声の震え 穏やかな声に切り替え、問題を易しくし、手伝いを提案するプロンプト

学習者240名からなるホールドアウトテストセットにおける検出精度は 81.4% (4分類)であり、最も高い混同は Frustrated と Bored の間(11.2%)であった。適応的な応答は オプトイン 方式であり、教育委員会・自治体入札 においては、一部の学区が予測可能で台本に沿ったフィードバックを好むためである。

6. 音声ペルソナとキャラクターのボイス

これら18種類の感情スタイルは 8種類の音声ペルソナ を組み合わせ、144種類のユニークな読み上げ音声を生成する。ペルソナの内訳は以下の通り:

ペルソナ 年齢 アクセント ピッチ基準値
Child_F_01 7 en-US 260 Hz
Child_M_02 9 en-US 240 Hz
Teen_F_03 14 en-US 220 Hz
Adult_F_04 30 en-US 200 Hz
Adult_M_05 35 en-US 120 Hz
Grandparent_F_06 65 en-US 180 Hz
Grandparent_M_07 68 en-US 110 Hz
Teacher_F_08 40 en-US 190 Hz

対象:著名IPとのコラボレーションや出版社との共同ブランドの場合、声優タレント roster より追加の音声ペルソナをライセンス提供いたします。カスタム音声の NRE は $18,000 からで、タレント契約書の締結が条件となります。詳細は 音声クローンと話者適応の倫理基準.

7. ブラインドリスニングテストによる MOS スコア

60名/ロケールのリスナー(6〜12歳の子供15名、保護者15名、教師15名、言語学者15名)を対象に、四半期ごとにブラインドリスニングテストを実施しています。MOS(Mean Opinion Score:平均主観評価点)は 1〜5 のスケールで、5 が人間と同等レベルです。

音声ペルソナ+スタイル MOS (en-US) MOS (zh-CN) MOS (es-ES)
Child_F_01 + 中立 (Neutral) 4.1 4.0 4.0
Child_F_01 + 喜び (Happy) 4.4 4.3 4.3
Child_F_01 + ささやき (Whisper) 4.6 4.5 4.5
Adult_F_04 + 中立 (Neutral) 4.3 4.2 4.2
Adult_F_04 + 威厳・権威 (Authoritative) 4.5 4.4 4.4
Grandparent_F_06 + 眠そうな声 (Sleepy) 4.7 4.6 4.6
Teacher_F_08 + 励まし (Encouraging) 4.5 4.4 4.4

最も高評価の組み合わせは Sleepy と Whisper のスタイルです。これらは神経ボコーダが特に説得力をもって再現できる音響特徴(息もれ感、低エネルギー)を要するためです。最も低いのは Neutral ですが、これは人間が決して完全な中立ではあり得ないため、皮肉にも最も自然に響かせるのが難しいスタイルです。

TTS MOS by Voice × Style (en-US)

8. 性能と電力バジェット

項目 値
韻律予測器 4.2 MB
スタイルアダプタ(18 × 240 kB) 4.3 MB
FastSpeech 2 音響デコーダ 9.6 MB
HiFi-GAN ボコーダ 4.8 MB
Prosody + TTS 合計フットプリント 24.0 MB
1 文あたりのレイテンシ(Q8) 74 ms
合成時の消費電力(Q8) 480 mW
連続読み上げ時の消費電力(T2 2,500 mAh) 14 h

合成時の 480 mW の消費電力は、加えて常時オンリスン電力 2.4 mW と、ダイアリゼーション稼働時の 9 mW に加算されます。典型的な読み上げセッションにおけるシステム全体のバジェットは約 490 mW です。

9. 購入者が必ず検証すべき項目

感情 TTS において譲れない 5 つのエンジニアリングチェック:

  1. コンテンツに対する MOS スコア。 対象書籍から 30 文のサンプルを用意し、ターゲット市場の 15 名のリスナーによるブラインドリスニングテストを実施するよう要求してください。MOS 4.0 未満は贈答品品質とはいえません。
  2. スタイル網羅性。 18 種すべてのスタイルが出荷され、SSML または書籍単位の JSON 経由で操作できることを確認してください。
  3. 文章をまたいだスタイルの一貫性。 「ささやき」の文が「ハッピー」の文にまたがって聞こえないよう、音の境界にアーティファクトが出ていないか確認する。
  4. 高負荷時のレイテンシ。 ASRを同時に走らせた状態でQ8のエンドツーエンド遅延を測定する。200 msを超えるとペンの反応がもたついて感じる。
  5. 子どもの感情検出はオプトイン。対象:機能がオプトインであることを確認する学校・教育機関向け調達 では保護者向けゲートで制御し、本機能がオプトインであることを確認する。

10. ロードマップとOEMカスタマイズ

2027年のロードマップでは、多言語コードスイッチング韻律 を追加する。英語と中国語が混在する一文(「Let's count: yī, èr, sān, four, five」)に対し、言語ごとに韻律を割り当てる。これは AI統合ロードマップ2024-2026 の一環であり、移民・多文化共生支援プログラム.

での必須要件である。

OEMカスタマイズの階層: 階層 内容 本数に応じたロイヤリティ
従量ロイヤリティ デフォルト18スタイル 8種ペルソナすべて $0
カスタムスタイル 新規感情スタイル (例:「壮大な朗読」「コメディ」) 新規感情(例:「エピック」「コメディック」) $8,400
カスタムボイス・ペルソナ 新規音声 (ライセンス契約済タレントによる録音) 新規音声(ライセンス取得済みタレントによる収録) $18,000
カスタムキャラクター音声 カスタムキャラクターボイス 複数スタイルを持つ完全キャラクター $42,000
見積もり依頼 — 工場から迅速にご回答いたします

見積りを依頼する — 工場から迅速回答


読み上げペン ユースケース:出版社とのコブランド

韻律モデリングと感情 TTS は、SmartReadingPen のファームウェアイメージの中でも特に容量を消費し、スタイルの影響を受けやすいモジュールです。当社では韻律処理スタックを専用の受け入れゲートを持つ独立した生産ラインとして位置づけています。

韻律モデリングと感情TTSは、SmartReadingPenファームウェアの中でも特に容量を消費し、スタイルの影響を受けやすいモジュールです。当社では韻律スタックを独立した生産ラインとして位置付け、専用の受け入れゲートを運用しています。HiFi-GAN 検証ラック ×2、MOS パネル試験装置 ×1、FastSpeech 2 音響デコーダテスター ×12台のHiFi-GAN検証ラック、1系統のMOSパネルループ、1台のFastSpeech 2音響デコーダテスター を、18種のスタイルアダプタと全11生産SKU(B1、B2、F8、K7、KF1、L5、P2、Q6、Q8、T2、Y6)専用に稼働させています。ファームウェアの1日あたり書き込み処理能力は 韻律対応ペン5,800本 で、Q4の寝かしつけ向け絵本SKUではピーク時 第4四半期の季節向け寝かしつけ絵本 SKU で広く採用されています。韻律機能を搭載した各ペンは に達します。韻律対応ペン全台は、ビン投入前に ビン出荷前に必ず検証を実施しています。受け入れゲートでは4つの信号を組み合わせて合否を判定します:韻律予測器の SHA 一致 (4.2 MB)、スタイルアダプタバンクの SHA 一致 (18×240 kB で計 4.3 MB)、FastSpeech 2 音響デコーダの SHA 一致 (9.6 MB)、HiFi-GAN ボコーダの SHA 一致 (4.8 MB)。

韻律 AQL は 韻律のAQLは 音響デコーダ書込み工程 (単一では最大のブロブ) において、 (最大の単一ブロブである音響デコーダ書き込み工程)およびスタイルアダプタバンクに対して スタイルアダプタバンクに対して設定しています。韻律対応ラインの SKU 別スループットは次のとおりです:

を適用しています。韻律対応ラインのSKU別スループット: 1日あたりの生産能力(台) 出荷済みスタイルアダプタ リードタイム(日)
T2(就寝時読み聞かせフラッグシップ) 1,400 18(フル) 38
Y6(ヨガペン型) 1,100 18(フル) 40
Q8(4インチOCR+韻律) 1,000 18(フル) 36
P2(出版業界向け共同ブランド) 800 18(フル+カスタムスタイル) 48
L5(図書館向けモデル) 400 14(サブセット) 52
F8 (遠距離収音対応) 400 12(サブセット) 44
K7(キッズモード) 500 8(サブセット) 32
KF1(コンパクトモデル) 200 6(サブセット) 30
B1 / B2 / Q6 バランシング 1注文あたり 28〜34

韻律対応SKU全体の平均リードタイムは 38.4日 です。P2およびL5の出版業界向け共同ブランドSKUは、カスタムスタイルアダプタのトレーニングとバーンイン工程での実装が必要なため、リードタイムが長くなります。

12. 認証、ローカライゼーション、およびオーディオ出力コンプライアンス

当社の韻律・感情TTSスタックは、子供向け音響製品のデューデリジェンス、教育省による調達、輸入者のコンプライアンス審査に適した書類を添えて出荷されます。

認証 / 規格 韻律 / 感情TTSに関連する対応範囲
CE (EN 55032 / EN 55035) 内蔵スピーカーに関するオーディオ出力EMC
FCC Part 15 RF放射。韻律スタックへの影響なし
UKCA 英国小売向け、en-GBスタイルアダプタを標準搭載
EN71-1/2/3 物理的安全性 / 毒性。韻律への影響なし
ASTM F963 米国玩具安全基準、音量上限を遵守
RoHS 2.0 / REACH 材料関連。韻律への影響なし
IEC 62368-1 AV / ICT機器安全規格、スピーカー出力をカバー
PSE (日本) 日本向け販売事業者、ja-JPスタイルのアダプタが必要
KC (韓国) 韓国向け販売事業者、ko-KRスタイルのアダプタが必要
GCC (湾岸諸国) 湾岸地域向け販売事業者、ar-SAスタイルのアダプタが必要
SFDA / ESMA サウジアラビア / UAE、ar-SAパック+ロケールスタイル準拠の注意事項
TIS(タイ) th-THスタイルのアダプタはご要望に応じて対応(ロードマップ)
NOM(メキシコ) es-MXスタイルのアダプタを出荷対応
RCM (オーストラリア / NZ) en-AUスタイルのアダプタを出荷対応
NRCS(南アフリカ) en-ZAスタイルのアダプタを出荷対応
INMETRO(ブラジル) pt-BRスタイルのアダプタを出荷対応
GDPR 第5条 / 第9条 / 第32条 プロソディ合成による音声データは保持されません
COPPA / FERPA お子様向けコンテンツのみ。行動プロファイリングは一切行いません
ISO 9001:2015 工場QMS。ファームウェア書込みのAQLをカバー
ISO 13485 (P2 医療クラス) 本リーダーペンは学習補助機器であり、医療機器ではありません

本プロソディスタックは完全オンデバイスの推論エンジンです。合成時に音声データをクラウドへ往復送信しないため、EU、英国、米国、KSA、UAEの教育入札におけるデータ越境移転関連書類の準備が簡素化されます。

13. OEM/ODM 価格設定とSKUのトレードオフ

リズム/感情TTSの本番出荷を計画するSmartReadingPen OEM/ODMご担当者は、以下の価格パターンをご想定ください。価格には深圳FOBベースの1,000台MOQを適用し、本体ハードウェア代は含みません。

項目 開発費 (NRE) ユニット単価ロイヤリティ 最小発注数量 (MOQ)
標準8スタイル/6ロケール $0 $0 1,000
18スタイル・アダプタバンクフル $3,800 $0.14 1,000
カスタムスタイルアダプタ(1ブランドボイス) $6,400 $0.06 1,000
カスタムスタイルバンク(4ブランドボイス) $18,000 $0.20 2,000
ロケールスタイル追加(1新規ロケール・18スタイル) $4,200 $0.08 1,000
ニューラルプロソディ・オプション(Q8、T2、Y6のみ) $9,600 $0.12 2,000
18スタイル × 12ロケール フルバンドル $11,400 $0.32 2,000

単一国市場向けの地域ブランド様は、最低でも NRE $3,800~$6,400 + 1ユニットごとのロイヤリティ $0.06~$0.14 を見込んでください。標準18スタイル・アダプタバンクでの計画です。6か所以上の地域に展開し、カスタムブランドボイスを要する多国籍パブリッシャーの場合は、NRE $18,000 + 1ユニットごとのロイヤリティ $0.20 (2,000ユニットMOQ時)、10,000ユニットMOQでは$0.14まで下がります。支払条件は30% T/T手付金、70% B/Lコピー払い。$200,000以上の注文は一覧払いの取消不能L/Cも承ります。

14. 内部検証指標とエンジニアリング要点

対象は 2024年8月から2026年8月までに納品されたプロソディ対応ペン 38,400本 (T2 11,800 / Y6 8,200 / Q8 7,400 / P2 4,800 / L5 1,600 / F8 1,400 / K7 1,800 / KF1 1,400)。社内MOSパネルのテレメトリは次のとおりです。

指標 2024 2025 2026 (8か月)
平均MOS (全18スタイル、12ロケール) 3.94 4.12 4.27
スタイル一貫性 (兄弟MOS σ) 0.42 0.36 0.31
文章あたりのレイテンシp95 (Q8) 88 ms 80 ms 74 ms
カスタムスタイル採用 (P2 / L5) 6パブリッシャー 14パブリッシャー 22パブリッシャー
ニューラルプロソディ対応SKU 0 T2パイロット T2、Y6、Q8

Prosody & Emotional TTS MOS Trend (n=38,400 pens)

プロソディ/感情TTSを検討中のOEM/ODMバイヤーへのエンジニアリング要点:

  1. スタイルアダプタバンクは小売向け韻律機能の必須構成です — デフォルト8スタイルのみ搭載のペンは18スタイルバンク搭載品と比べて平板に響きます。契約前にBOMにフルバンクが含まれているか確認してください。
  2. カスタムブランドボイスは別予算枠での検討となります — ブランドボイス1種はNRE $6,400 + 6週間のトレーニングが別途必要です。共同ブランドキャラクターには別途予算を確保してください。
  3. 小型 SKU ではレイテンシ予算が急速に逼迫します — K7、KF1、B1はp95約110 msで頭打ち。74 ms目標を達成するのはQ8、T2、Y6のみです。SKUティアをそのように設計してください。
  4. ロケール対応範囲は見落としやすい重要項目です — 12ロケールの一括バンドルはNRE $11,400で、12ロケール個別追加より割安です。必ず一括見積もりをご依頼ください。
  5. MOS パネル評価が最も信頼性の高い指標です — SSMLタグは正しく見えても音は違和感があることがあります。ロケールごとに30発話の受容セットでスタイル別MOSを必ず提示させてください。

4か所以上のロケールでプロソディ/感情TTSを出荷したいバイヤー、またはカスタムブランドボイスを導入したいバイヤーは、見積もり依頼 の際に、希望ロケール一覧、サンプルコンテンツ、対象SKU、ブランドボイスの参考音源をご共有ください。プロソディチームが3営業日以内に、NRE内訳、アダプタバンクフットプリントレポート、MOSパネルスケジュールをご返答します。

見積もりを依頼 — 工場からの迅速な回答を取得
見積もりを依頼 — 工場からの迅速な回答を取得

Frequently Asked Questions

スマートReadingPen読書ペンのTTSはいくつの感情スタイルに対応していますか?
Neutral、Happy、Sad、Smiled、Excited、Whisper、Scared、Angry、Sleepy、Curious、Confident、Gentle、Playful、Serious、Surprised、Disappointed、Encouraging、Authoritative、Lovingの18スタイルです。各スタイルは240 kBで、レイテンシは4 ms加算されます。ペン1台に18スタイルすべてを4.3 MBのNANDに格納できます。
読書ペンのTTSの平均オピニオンスコア(MOS)はどのくらいですか?
MOSはロケールごとに60名のリスナー(お子様15名、保護者15名、教師15名、言語学者15名)で評価し、1〜5スケールで平均4.4です。最も高いのはGrandparent + Sleepyの4.7、最も低いのはChild + Neutralの4.1です。四半期ごとに再テストを実施し、改善点はOTAファームウェアアップデートで配信します。
出版社は文章ごとに感情スタイルを制御できますか?
はい、SSML 1.1と当社独自の感情タグで制御できます。当社のWebオーサリングツールではスタイルタグをドラッグ&ドロップでき、合成音声をリアルタイムでプレビューできます。オーサリングは1冊あたり4,800ドルで4週間のエンゲージメントとなり、ロイヤリティは発生しません。
読書ペンはクイズ中にお子様の感情状態にどのように適応しますか?
ファームウェア3.4.0ベータでは、480 kBのデバイス内分類器がFrustrated、Bored、Confident、Anxiousを240名のお子様のテストセットで81.4%の精度で検出します。ペンは音声スタイルとクイズ難易度をそれに応じて調整します。この機能は学校区向け調達ではオプトイン式で、保護者によるペアレンタルコントロールによりゲートされています。
プロソディおよび感情TTS層にはどのくらいのストレージが必要ですか?
合計24.0 MB:プロソディ予測器4.2 MB、スタイルアダプタ4.3 MB(18 × 240 kB)、FastSpeech 2音響デコーダー9.6 MB、HiFi-GANボコーダー4.8 MB。Q8プラットフォームでの文単位レイテンシは74 msです。合成時の消費電力は480 mWで、T2(2,500 mAh)セルで連続読み上げ14時間が可能です。
カート
当サイトの体験を改善するために、クッキーを許可してください。 クッキー利用.policy
Chat on WhatsApp