ガイド連動クイズ · 中 レベル

AI による読唇術と視覚音声認識クイズ

読唇モデルで視覚的音声キュー、口形素の曖昧性、オーディオとビデオの融合、時間的特徴、口領域処理、および CTC アラインメントをテストします。

質問 1 の 8

視覚音声認識における口形素のグループ化はどのような曖昧さを表しますか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. 視覚音声認識における口形素のグループ化はどのような曖昧さを表しますか?
    • すべてのサウンドには、すべてのフレームに独自に復元可能なイメージがあります
    • カメラが単語の意味を直接測定
    • さまざまな音声が目に見える口の動きを共有できる
    • 話者のファイル名によって音素シーケンスが決まります
  2. 音響ノイズが増加した場合、ビジュアル ストリームはオーディオビジュアル認識装置にどのように役立つのでしょうか?
    • オクルージョンや照明に関係なく正しい認識を保証します
    • オーディオが劣化している場合に、追加の視覚的なアーティキュレーションキューを提供できます。
    • 融合モデルを評価する必要が一切なくなります
    • 音響信号を物理的にノイズレスにします
  3. 読唇モデルの 3D 畳み込みフロントエンドは何をキャプチャするのに役立ちますか?
    • 話者の目の色
    • 室温
    • 話し手の文章のアクセント
    • 連続フレームにわたる短期間の動きパターン
  4. 視覚音声モデルに必要な情報を隠すことができるキャプチャ条件はどれですか?
    • 頭が回転する、照明が不十分、または口の上に障害物がある
    • 唯一保証される故障状態としての明確な正面図
    • 解像度が高くなると曖昧さがすべてなくなるというルール
    • ビデオに影響を与えないオーディオ ファイルの圧縮設定
  5. 元のLipNet文認識結果にどのような評価範囲を付けるべきでしょうか?
    • あらゆる言語での自然な現実世界のあらゆる会話
    • 調査で使用された制約付き GRID ベンチマーク
    • すべてのプロの読唇術者が常に優れたパフォーマンスを発揮することを保証します
    • 視覚的な音声入力なしで書かれたテキストのみ
  6. 読唇AIに関する主な社会的懸念は次のとおりです。
    • 電気を使いすぎます
    • コンピュータでは実行できません
    • 秘密使用により同意なしの監視が可能になる
    • 1 つの言語でのみ機能します
  7. 視覚音声パイプラインが時間モデリングの前に口中心の領域をトリミングするのはなぜでしょうか?
    • 無関係な画像の背景ではなく、関連するアーティキュレーションに処理を集中させるため
    • 動きに関する情報を一切必要としないようにするには
    • すべての音素が視覚的にユニークになることを保証するため
    • 最終的なトランスクリプトをクロップ座標から直接提供するには
  8. CTC は、LipNet トレーニング設定でどのような調整要件を回避しますか?
    • すべてのトランスクリプトレベルのトレーニングターゲット
    • 話者の口のすべての観察
    • 認識問題におけるあらゆる時間的依存性
    • 個々のビデオ フレームごとに提供される文字ラベル