引導式測驗 · 中等 等級
為什麼提示在一種模型中有效,但在另一種測驗中無效
使用匹配的案例、版本記錄以及特定於應用程式的品質、格式和安全標準來測試跨模型的提示可移植性。
問題 1 的 8
為什麼相同的提示在兩個模型中可能表現不同?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 為什麼相同的提示在兩個模型中可能表現不同?
- 提示中的文字會自動變化
- 所有模型都使用相同的內部行為
- 模型在指令遵循、訓練、功能和 API 預設值方面可能有所不同
- 提示始終與模型無關
- API 相容性是否保證相同的模型行為?
- 是的,相容的請求必須產生相同的文本
- 是的,如果模型共享一個上下文窗口
- 不,因為 API 相容性是不可能的
- 不;請求格式可以匹配,但輸出和支援的功能不同
- 團隊如何公平地比較不同模型的提示?
- 為每個模型使用不同的測試集
- 使用相同的任務範例、相關設定和評分標準
- 僅比較行銷描述
- 運行一個提示一次
- 可移植性測試應該記錄什麼?
- 確切的型號識別碼、版本、設定和測試日期
- 僅提示的檔名
- 僅平均響應長度
- 部署後什麼都沒有
- 即使 API 看起來相似,哪些功能也可能有所不同?
- 提示包含文字這一事實
- 請求是否有輸入
- 結構化輸出支援或工具呼叫行為
- 評價的概念
- 應如何評估特定於模型的提示調整?
- 假設它改善了所有任務
- 以受控方式更改它並針對保留集進行測試
- 調整每個評估案例
- 刪除基線提示
- 簡單任務上的提示是否會自動移植到安全敏感任務?
- 是的,如果措詞相同
- 是的,因為安全規則是通用的
- 不,因為簡單的任務無法評估
- 不;安全性和工具行為需要自己的測試
- 模型或提供者更新後團隊應該做什麼?
- 根據應用程式的要求重新執行回歸測試
- 假設先前的分數仍然適用
- 僅更改型號名稱
- 移除評估集