ビジョントランスフォーマー
ビジョン トランスフォーマー (ViT) は、ChatGPT を強化するトランスフォーマー アーキテクチャを画像に適用し、画像をピクセルのグリッドではなくパッチのシーケンスとして扱います。
概要
ビジョン トランスフォーマー (ViT) は、ChatGPT を強化するトランスフォーマー アーキテクチャを画像に適用し、画像をピクセルのグリッドではなくパッチのシーケンスとして扱います。彼らは、最先端の画像認識を実現するために畳み込みは必要ないことを証明しました。
Vision Transformers は、分析、操作、創造性のためにビジュアル メディアを解釈または生成するコンピューター ビジョン ワークフローに属します。
ディープダイブ
畳み込みニューラル ネットワーク (CNN) は、画像全体にわたって小さなフィルターをスキャンすることで、長年にわたってコンピューター ビジョンを支配していました。 Google の 2020 年の論文「An Image Is Worth 16x16 Words」は、画像を固定パッチ (通常は 16x16 ピクセル) に分割し、それぞれをベクトルに平坦化し、結果のシーケンスを標準のトランスフォーマーに入力することで、この問題に挑戦しました。各パッチは、文中の単語と同じように「トークン」になります。次に、モデルはセルフ アテンションを使用して、すべてのパッチを他のすべてのパッチに直接関連付けることができ、小さな畳み込みフィルターでは 1 ステップでは認識できない長距離の関係をキャプチャします。問題点: ViT には CNN の組み込みの前提条件が欠けているため、データを大量に消費します。 JFT-300M のような巨大なデータセットでトレーニングされたこれらのデータは、最高の CNN に匹敵するかそれを上回り、現代の視覚研究を再構築しました。
技術的な洞察
ViT は、画像を重なり合わないパッチに分割し、それぞれを埋め込みに線形投影し、位置エンコーディングを追加して、モデルが元の画像の各パッチがどこにあるかを認識できるようにします。特別な学習可能な「クラス トークン」が先頭に追加されます。その最終的な表現が分類を推進します。自己注意レイヤーを積み重ねることで、各パッチが他のすべてのパッチからの情報を重み付けし、レイヤー 1 からのグローバルな受容野を与えます。アテンションはパッチの数に応じて二次関数的に増加するため、高解像度の画像は高価になります。そのため、パッチのサイズと効率的なアテンションのバリエーションが重要になります。
ビジョントランスフォーマーをマスターする
深い理解を得るには、ビジョン トランスフォーマーを単一の機能ではなく、オペレーティング モデルとして扱います。望ましい結果を定義し、前提条件を明確にし、システムが確実に実行できることと、依然として専門家の判断が必要なことを区別します。
実際、Vision Transformers を使用する強力なチームは、精度と、データ品質、照明の差異、ラベル付けの一貫性などの運用上の現実のバランスをとります。明示的な成功基準を文書化し、現実的なデータとワークフローに対してテストし、一度限りのベンチマークの成功ではなく、観察された失敗パターンに基づいて反復します。ここで、理論的な理解が、製品、ポリシー、運用全体にわたる永続的な機能に変わります。
Visual AI は、検査、検出、タグ付けタスクを大規模に自動化できます。同時に、出所が不明瞭な場合、肖像権と同意が法的リスクになる可能性があります。最も回復力のあるアプローチは、実験のスピードとガバナンスの規律を組み合わせることであり、パイロットを実行し、証拠を取得し、意思決定ログを公開し、モデルの動作、ユーザーの期待、規制要件の進化に応じて安全対策を継続的に更新します。
戦略的影響
Visual AI は、検査、検出、タグ付けタスクを大規模に自動化できます。
Visual AI は、検査、検出、タグ付けタスクを大規模に自動化できます。高品質の導入では、これが測定可能な運用ルール、所有権の境界、定期的なレビューの儀式に変換されるため、チームは曖昧さを拡大するのではなく、自信を拡大することができます。
クリエイティブ チームは、手動での修正を減らし、より迅速にコンセプトのプロトタイプを作成できます。
クリエイティブ チームは、手動での修正を減らし、より迅速にコンセプトのプロトタイプを作成できます。高品質の導入では、これが測定可能な運用ルール、所有権の境界、定期的なレビューの儀式に変換されるため、チームは曖昧さを拡大するのではなく、自信を拡大することができます。
以前は処理が困難であった画像信号やビデオ信号を操作に使用できるようになります。
以前は処理が困難であった画像信号やビデオ信号を操作に使用できるようになります。高品質の導入では、これが測定可能な運用ルール、所有権の境界、定期的なレビューの儀式に変換されるため、チームは曖昧さを拡大するのではなく、自信を拡大することができます。
現実世界の実装
ViT が CNN との競争力を証明した後、変圧器バックボーンを採用した Google の画像分類および検索ランキング システム
ViT を使用して画像をエンコードする CLIP およびその他の画像テキスト モデルにより、共有スペースで写真とキャプションを一致させることができます
ViT を使用して、局所的なテクスチャだけではなくスキャン全体のパターンを検出する医用画像研究
ViT スタイルの注意力を組み合わせて全視野にわたるシーンを理解する自動運転およびロボット認識スタック
実装パターン
ビジョントランスフォーマーの実践
Google の画像分類および検索ランキング システムは、ViT が CNN との競争力を証明した後、トランス バックボーンを採用しました。
通常、チームは、品質のしきい値を事前に定義し、エッジ ケースに対して人によるエスカレーション パスを確保し、生産性の向上とエラー コストの両方を長期的に追跡することで、より良い結果を得ることができます。
ビジョントランスフォーマーの実践
ViT を使用して画像をエンコードする CLIP およびその他の画像テキスト モデル。共有スペースで写真とキャプションを一致させることができます。
通常、チームは、品質のしきい値を事前に定義し、エッジ ケースに対して人によるエスカレーション パスを確保し、生産性の向上とエラー コストの両方を長期的に追跡することで、より良い結果を得ることができます。
ビジョントランスフォーマーの実践
ViT を使用して、局所的なテクスチャだけではなくスキャン全体のパターンを検出する医用画像研究。
通常、チームは、品質のしきい値を事前に定義し、エッジ ケースに対して人によるエスカレーション パスを確保し、生産性の向上とエラー コストの両方を長期的に追跡することで、より良い結果を得ることができます。
ビジョントランスフォーマーの実践
ViT スタイルの注意力を組み合わせて全視野にわたるシーンを理解する自動運転およびロボット認識スタック。
通常、チームは、品質のしきい値を事前に定義し、エッジ ケースに対して人によるエスカレーション パスを確保し、生産性の向上とエラー コストの両方を長期的に追跡することで、より良い結果を得ることができます。
リスクとガードレール
出所が不明瞭な場合、肖像権と同意が法的リスクとなる可能性があります。
モデルのパフォーマンスは、照明、人口統計、環境によって異なる場合があります。
信頼度のしきい値が監視されない限り、誤検知は気付かれない可能性があります。
実装ロードマップ
精度、再現率、エラーコストの許容基準を定義します。
これを証拠ゲートとして扱います。基準が満たされない場合は、ロールアウトを一時停止し、ギャップを埋めてから、使用を拡大します。
実際の生産条件に一致するデータを使用してテストします。
これを証拠ゲートとして扱います。基準が満たされない場合は、ロールアウトを一時停止し、ギャップを埋めてから、使用を拡大します。
信頼性の低い予測や影響の大きい予測については、人間によるレビューを追加します。
これを証拠ゲートとして扱います。基準が満たされない場合は、ロールアウトを一時停止し、ギャップを埋めてから、使用を拡大します。
モデルのドリフトを追跡し、カメラまたはデータセットの変更後に再検証します。
これを証拠ゲートとして扱います。基準が満たされない場合は、ロールアウトを一時停止し、ギャップを埋めてから、使用を拡大します。
探検を続けましょう
Check your understanding
Test yourself: take the Vision Transformers quiz