ビジュアルAIガイド
視覚的な質問への回答
Visual Question Answering (VQA) を使用すると、システムは、「帽子をかぶっている人は何人いますか?」など、画像に関する自由形式の自然言語の質問に答えることができます。正しい答えを導き出すには、絵と質問の両方を一緒に理解する必要があります。
このガイドを聴くAIによるナレーション · ~2 min
ディープダイブ
Visual Question Answering は、コンピューター ビジョンと自然言語処理を組み合わせたものです。画像と質問が与えられると、モデルは単一の単語、短いフレーズ、またははい/いいえの応答などの回答を返します。このタスクは、VQA データセット (Antol et al., 2015) とその洗練された VQA v2.0 バージョンによって普及しました。これは、モデルがテキストのみから推測するのを防ぐためにバランスの取れた回答を提供します。システムは、画像と質問をエンコードし、2 つの表現を融合して、固定された回答語彙に基づいて分類することによって回答を予測します。現在、GPT-4V、LLaVA、PaLI などの大規模なビジョン言語モデルは、オブジェクト、属性、数、空間関係、さらには画像内に書かれたテキストについての推論を行う、オープンエンドの VQA を処理します。
現実世界の実装
目の見えないユーザーに商品の写真を撮ってもらい、「これは何の味ですか?」と尋ねさせる。または「有効期限はいつですか?」
ビジネス ワークフローでのチャート、フォーム、スキャンされたドキュメント (ドキュメント VQA) に関する質問に答える
「このジャケットにはフードが付いていますか?」に応答する小売および e コマースのアシスタントを強化します。商品写真より
スキャンまたは顕微鏡画像に関する的を絞った質問に答えることで、医療または科学の画像レビューをサポートします
ビジュアル質問応答の未来
VQA は、短答式の分類から、説明付きのオープンエンドの複数ステップの視覚的推論へと進化しています。カウント、チャート、ダイアグラム、および画像内のテキスト (ドキュメント VQA) の強力な処理に加え、時間の経過とともに推論するビデオ VQA が期待されます。ショートカットバイアスと幻覚を軽減することは、信頼を得るために特定の画像領域に根拠のある答えを与えることと同様に、依然として優先事項です。有能なマルチモーダル アシスタントは、電話、ロボット工学、およびユーザーが周囲の状況を調べるのに役立つアクセシビリティ ツールで、会話形式で視覚的な質問に答えることがますます増えています。
実践する
なぜそれが重要なのか
- 速度とスケール. Visual AI は、検査、検出、タグ付けタスクを大規模に自動化できます。
- ビルドの選択. クリエイティブ チームは、手動での修正を減らし、より迅速にコンセプトのプロトタイプを作成できます。
- チームとワークフロー. 以前は処理が困難であった画像信号やビデオ信号を操作に使用できるようになります。
気をつけてください
- 出所が不明瞭な場合、肖像権と同意が法的リスクとなる可能性があります。
- モデルのパフォーマンスは、照明、人口統計、環境によって異なる場合があります。
- 信頼度のしきい値が監視されない限り、誤検知は気付かれない可能性があります。
次のステップ
- 精度、再現率、エラーコストの許容基準を定義します。
- 実際の生産条件に一致するデータを使用してテストします。
- 信頼性の低い予測や影響の大きい予測については、人間によるレビューを追加します。
- モデルのドリフトを追跡し、カメラまたはデータセットの変更後に再検証します。
探検を続けましょう
よくある質問
ビジュアル質問応答とは何ですか?
Visual Question Answering (VQA) を使用すると、システムは、「帽子をかぶっている人は何人いますか?」など、画像に関する自由形式の自然言語の質問に答えることができます。正しい答えを導き出すには、絵と質問の両方を一緒に理解する必要があります。
Visual Question Answering システムが必要とする 2 つの入力は何ですか?
VQA は画像とそれに関する質問の両方を取得し、画像に基づいた回答を生成します。
VQA v2.0 データセットが「バランスのとれた」回答を使用して作成されたのはなぜですか?
VQA v2.0 は、質問と回答が異なる画像を組み合わせて、モデルにテキスト統計を活用するのではなく、実際に視覚的な入力を使用するように強制します。
VQA における「言語バイアス」とは何ですか?
言語バイアスは、モデルが画像を見るのではなく、質問の語句に関連付けられた回答統計を利用する場合に発生します。
多くの VQA モデルは画像と質問情報をどのように組み合わせていますか?
VQA モデルは、各モダリティをエンコードして融合し、頻繁にクロスアテンションを使用して疑問詞が関連する画像領域に注目するようにします。
古典的な VQA システムは、何を行うことで答えを生成することがよくありましたか?
初期の VQA モデルの多くは、タスクを最も頻繁に使用される回答に対する分類として扱いましたが、最新のモデルは自由形式のテキストを生成します。