概述
視覺變換器 (ViTs) 將支援 ChatGPT 的變換器架構應用於影像，將圖片視為補丁序列而不是像素網格。他們證明，不需要卷積即可實現最先進的影像辨識。
Vision Transformers 屬於電腦視覺工作流程，可解釋或產生視覺媒體以進行分析、操作和創造力。
深入探討
多年來，卷積神經網路（CNN）透過掃描影像上的小濾鏡主導了電腦視覺。 Google 的 2020 年論文「一張圖像值得 16x16 個字」對此提出了挑戰，方法是將圖像切成固定的塊（通常為 16x16 像素），將每個塊展平為向量，並將生成的序列輸入標準轉換器。每個補丁都成為一個“令牌”，就像句子中的單字一樣。然後，該模型使用自註意力，因此每個補丁都可以直接與其他每個補丁相關，並捕獲小型捲積濾波器一步無法看到的遠端關係。問題是：ViT 需要大量數據，因為它們缺乏 CNN 的內建假設。在 JFT-300M 等龐大資料集上進行訓練後，它們匹配或擊敗了最好的 CNN，重塑了現代視覺研究。
技術洞察
ViT 將影像分割為不重疊的補丁，將每個補丁線性投影到嵌入中，並新增位置編碼，以便模型知道每個補丁位於原始影像中的位置。前面有一個特殊的可學習的「類別標記」；它的最終表示驅動分類。堆疊的自註意力層讓每個補丁權衡來自所有其他補丁的訊息，從第一層給出全局感受野。由於注意力隨塊的數量呈二次方縮放，因此高解析度圖像變得昂貴，這就是為什麼塊大小和有效的注意力變體很重要的原因。
掌握視覺轉換器
視覺變換器 (ViTs) 將支援 ChatGPT 的變換器架構應用於影像，將圖片視為補丁序列而不是像素網格。他們證明，不需要卷積即可實現最先進的影像辨識。 Vision Transformers 屬於電腦視覺工作流程，可解釋或產生視覺媒體以進行分析、操作和創造力。為了建立深入的理解，請將 Vision Transformer 視為一種操作模型，而不是單一功能：定義期望的結果，澄清假設，並將系統可以可靠地完成的任務與仍需要專家判斷的任務分開。
在實踐中，使用 Vision Transformer 的強大團隊會平衡準確性與數據品質、照明差異和標籤一致性等操作現實。他們記錄明確的成功標準，根據實際數據和工作流程進行測試，並根據觀察到的失敗模式而不是一次性基準測試勝利進行迭代。這就是理論理解轉變為跨產品、政策和營運的持久能力的地方。
視覺人工智慧可以大規模自動化檢查、檢測和標記任務。同時，如果出處不明，肖像權和同意可能會成為法律風險。最具彈性的方法是將實驗速度與治理規則結合：運行試點、捕獲證據、發布決策日誌，並隨著模型行為、使用者期望和監管要求的發展不斷更新保障措施。
戰略影響
視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
視覺人工智慧可以大規模自動化檢查、檢測和標記任務。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
創意團隊可以透過更少的手動修改來更快地建立概念原型。
創意團隊可以透過更少的手動修改來更快地建立概念原型。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
操作可以使用以前難以處理的影像和視訊訊號。
操作可以使用以前難以處理的影像和視訊訊號。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
現實世界的實施
ViT 證明與 CNN 具有競爭力後，Google 的圖像分類和搜尋排名系統採用了 Transformer 主幹
CLIP 和其他使用 ViT 對圖像進行編碼的圖像文字模型，以便可以在共享空間中匹配照片和標題
醫學影像研究使用 ViT 來發現整個掃描中的模式，而不僅僅是局部紋理
自動駕駛和機器人感知堆疊結合了 ViT 式註意力，可在整個視野範圍內進行場景理解
實施模式
視覺轉換器的實踐
ViT 證明與 CNN 具有競爭力後，Google 採用 Transformer 主幹的圖像分類和搜尋排名系統。
ViT 證明與 CNN 具有競爭力後，Google 的圖像分類和搜尋排名系統採用了 Transformer 主幹。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會獲得更好的結果。
視覺轉換器的實踐
CLIP 和其他使用 ViT 對圖像進行編碼的圖像文字模型，以便可以在共享空間中匹配照片和標題。
CLIP 和其他圖像文字模型使用 ViT 對圖像進行編碼，以便可以在共享空間中匹配照片和標題。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力提升和錯誤成本時，通常會獲得更好的結果。
視覺轉換器的實踐
醫學影像研究使用 ViT 來發現整個掃描中的圖案，而不僅僅是局部紋理。
醫學影像研究使用 ViT 來發現整個掃描中的模式，而不僅僅是局部紋理。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會獲得更好的結果。
視覺轉換器的實踐
自動駕駛和機器人感知堆疊結合了 ViT 式註意力，可在整個視野範圍內進行場景理解。
自動駕駛和機器人感知堆疊結合了 ViT 式的注意力，可在整個視野範圍內進行場景理解。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會獲得更好的結果。
風險與防護欄
如果出處不明，肖像權和同意可能會成為法律風險。
模型表現可能因光照、人口統計和環境的不同而有所不同。
除非監控置信閾值，否則誤報可能會被忽略。
實施路線圖
定義精確度、召回率和錯誤成本的接受標準。
定義精確度、召回率和錯誤成本的接受標準。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
使用符合實際生產條件的數據進行測試。
使用符合實際生產條件的數據進行測試。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
為低置信度或高影響力的預測添加人工審核。
為低置信度或高影響力的預測添加人工審核。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
追蹤模型漂移並在相機或資料集變更後重新驗證。
追蹤模型漂移並在相機或資料集變更後重新驗證。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。