引導式測驗 · 中等 等級

多模式搜尋測驗

測試跨模式查詢含義、對齊嵌入、確切名稱關鍵字、音訊與視覺證據、排名、來源和存取控制。

相關引導路徑多模式搜尋
問題 1 的 8

文字查詢可以檢索出圖片。為什麼這屬於多模態搜尋互動?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 文字查詢可以檢索出圖片。為什麼這屬於多模態搜尋互動?
    • 只有圖片被建立索引
    • 查詢必須包含語音錄音
    • 查詢與結果使用了不同形式的資訊
    • 每個傳回的圖片都是確切的證據
  2. 兩個編碼器輸出了維度相同的向量。進行有意義的比較還需要什麼?
    • 只需相同數量的浮點數
    • 使表示法相容的訓練或對齊
    • 共用的副檔名
    • 共同的 UI 顏色主題
  3. 為什麼要將關鍵字比對與嵌入用於產品型號?
    • 關鍵字捕捉視覺形狀的能力永遠比圖片更好
    • 嵌入無法對任何相關結果進行排序
    • 每個型號都具有相同的含義
    • 僅憑語意相似度可能會遺失確切的識別碼
  4. 查詢要求「狗在吠叫」,但檢索結果卻傳回了一部無聲的狗影片。是什麼環節出錯了?
    • 結果符合視覺主題,但未符合所需的音訊證據
    • 狗必然是不存在的
    • 搜尋系統找不到視覺相似性
    • 文字查詢無法檢索影片
  5. 為什麼來源metadata可能有助於多模態結果?
    • 嵌入總是儲存所有合法權利
    • 時間範圍、來源與權限支援驗證與使用
    • Metadata證明了每個場景宣告皆為真實
    • 縮圖包含所有影片背景脈絡
  6. 應如何評估在排名中加入第二種模態?
    • 假設必須以兩種模態勝過單一模態
    • 僅使用訓練相似度分數
    • 在現實相關性情境下;更多訊號不一定能提升結果
    • 捨棄人工相關性判斷
  7. 哪些衍生資產需要一致的存取控制?
    • 嵌入向量、縮圖、文字稿與原始檔案
    • 僅原始來源檔案
    • 僅搜尋框文字
    • 僅公開結果標題
  8. 影像結果看起來與查詢項目相似,但實際上是不同商品。團隊應測試什麼?
    • 僅平均嵌入長度
    • 僅資料庫中的模態數量
    • 僅所有結果是否都有縮圖
    • 在視覺相似的物件之間做細微區分