向量資料庫

它可以支援人工智慧應用程式的語義搜尋、推薦和檢索。它並不獨立地確定檢索到的記錄的真實性、許可或有用性。

重點摘要

• 版本嵌入及其來源和模型。
• 根據任務相關性評估近似值。
• 將刪除和權限視為首要要求。

嵌入模型將諸如段落或圖像之類的項目映射到向量中。資料庫對這些向量進行索引，以便查詢表示可以檢索附近的項目。保留向量中可用的原始內容、來源標識符和相關元資料。嵌入模型和相似性測量必須與應用程式相容。更改模型可以更改儲存表示的含義或尺寸。遷移可能需要重新計算嵌入並重建索引，而不是混合新舊向量。精確的最近鄰搜尋直接比較候選者，而近似方法則用一些檢索保真度來換取速度或記憶體效率。使用代表性查詢和實際集合大小來評估權衡。僅資料庫延遲並不能衡量返回證據的相關性。將更新、刪除和授權作為設計的一部分進行規劃。已刪除的文件不應透過舊的嵌入仍然可發現。元資料過濾器需要強制執行請求使用者的允許範圍。當索引不可用時測試並發更新和回退行為。

1. 想像一下使用模型 A 建構的索引和使用模型 B 建構的新查詢服務。
2. 即使兩者產生相同數量的維度，它們的座標含義也不必匹配。混合它們會使相似結果變得毫無意義。
3. 使用模型 B 建立單獨版本化的索引，對其進行評估，並僅在驗證完整遷移後才切換查詢。

建構的場景展示了為什麼嵌入版本控制是資料完整性的一部分。