Meta AI 與 Llama

可下載的 Llama 檢查點、主機模型服務和消費者助理是不同的系統。他們的能力、權限和操作職責應單獨評估。

重點摘要

• 確定確切的版本和配置。
• 閱讀相關條款。
• 將下載的模型與託管產品分開。

對於 Llama，從特定版本的型號卡、授權、可接受的使用條款和支援的配置開始。該系列包括不同的模型大小和模式，因此一個檢查點的結果不應推廣到每個版本。下載權重可以實現本地操作或適配，但完整的部署還需要相容的架構程式碼、標記化、配置和硬體。量化或社區修改版本是不同的工件，應直接評估其行為。區分開放取用和不受限制的重用。請閱讀實際條款，而不是根據下載的可用性來推斷權利。程式碼、模型權重和訓練資料資訊可以具有不同的條件或完整性等級。使用代表性輸入和定義的故障策略評估預期應用。本地控制將基礎設施、安全、更新和監控職責轉移給操作員。使用相關研究的消費性產品可能會加入下載的檢查點中不存在的工具、策略和其他元件。

1. 想像一下，一項測試使用下載的檢查點，另一項測試使用帶有搜尋工具的託管助手。
2. 記錄工具存取和周圍的說明，然後將它們的不同答案單獨歸因於模型。
3. 如果目的是測量檢查點的能力，請重複受控比較。

建構的範例將模型評估與產品評估分開。