オーディオAIガイド
音声アクティビティの検出
音声アクティビティ検出は、オーディオ ストリーム内の音声の開始領域と終了領域を識別します。
このガイドを聴くAIによるナレーション · ~2 min
概要
OpenAI リアルタイム API は、構成可能なサーバーベースのセマンティック方向転換検出モードを文書化します。動作は選択したモードと設定によって異なります。
ディープダイブ
OpenAI リアルタイム API では、VAD が音声を自動的にチャンク化し、音声開始イベントと音声停止イベントを発行するものとして説明されています。そのserver_vadモードは、沈黙の期間に基づいてセグメント化されます。これは、0 から 1 までのアクティブ化しきい値、prefix_padding_ms (検出された音声の前に含まれる音声)、および Silence_duration_ms (音声停止の検出に使用される沈黙間隔) を公開します。その semantic_vad モードは、発話内の単語に基づいて意味分類子を使用して、人が話し終えたかどうかを推定します。熱心な設定は待機時間に影響します。これらの設定と動作は、すべての VAD アルゴリズムではなく、文書化されたリアルタイム API モードを参照しています。
現実世界の実装
server_vad を使用して、無音の期間に基づいて音声をセグメント化します。
semantic_vad を使用して、ユーザーが発話した単語から話し終えたかどうかを推定します。
サポートされているリアルタイム セッションのしきい値、プレフィックス パディング、無音期間を調整します。
ユーザーが話し続けるためのより多くの時間を許可することよりも、より速いターン セグメンテーションを優先することを選択します。
音声アクティビティ検出の未来
目的の会話または文字起こしワークフローに合わせてターン検出を調整します。サポートされているモデル/セッション構成を確認し、ユーザーが中断されたり、音声の開始が切り取られたり、トランスクリプトが早すぎたりしていないかを監視します。
実践する
なぜそれが重要なのか
- アクセスと到達範囲. 文字起こし、ナレーション、音声インターフェイスを通じてアクセシビリティを向上させます。
- 費用と予算. メディア チームは、より少ない予算で洗練されたオーディオをより迅速に出荷できます。
- 速度とスケール. 顧客対応システムは、音声対話を大規模に処理できます。
気をつけてください
- 同意がない場合、音声の悪用やなりすましのリスクが高まります。
- アクセント、方言、または騒がしい環境では精度が低下する可能性があります。
- 合成音声は、明確なラベルが付けられていないと、本物の音声と間違われる可能性があります。
次のステップ
- 音声のキャプチャ、複製、再利用については明示的な同意を取得してください。
- さまざまな話者や背景条件で品質をテストします。
- 人間がいつ出力をレビューまたは承認する必要があるかを定義します。
- 合成音声にラベルを付け、出所記録を保管して説明責任を果たします。
探検を続けましょう
よくある質問
音声アクティビティ検出とは何ですか?
音声アクティビティ検出は、オーディオ ストリーム内の音声の開始領域と終了領域を識別します。 OpenAI リアルタイム API は、構成可能なサーバーベースのセマンティック方向転換検出モードを文書化します。動作は選択したモードと設定によって異なります。
音声アクティビティ検出の主な仕事は何ですか?
VAD はオーディオ フレームを音声または非音声としてラベル付けします。話者を特定したり、単語を転写したりするものではありません。
OpenAI リアルタイム API の server_vad モードはオーディオ チャンクをどのように決定しますか?
Realtime VAD のドキュメントには、server_vad が無音の期間に基づいて音声を自動的に分割すると記載されています。
server_vad で Silence_duration_ms は何を設定しますか?
この設定は、音声停止の検出に使用される無音の継続時間を制御します。設定を短くすると、ターンをより早く検出します。
文書化されたserver_vadアクティブ化しきい値はどの範囲を使用しますか?
リアルタイム VAD ガイドには、しきい値が 0 から 1 までのアクティベーション値として記載されています。
semantic_vad はユーザーが話し終えたことをどのように推定しますか?
API ガイドによると、semantic_vad は単語から推測される、ユーザーが話し終えた確率に基づいて音声をスコアリングします。