引導式測驗 · 中等 等級

為什麼提示在一種模型中有效,但在另一種測驗中無效

使用匹配的案例、版本記錄以及特定於應用程式的品質、格式和安全標準來測試跨模型的提示可移植性。

問題 1 的 8

為什麼相同的提示在兩個模型中可能表現不同?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 為什麼相同的提示在兩個模型中可能表現不同?
    • 提示中的文字會自動變化
    • 所有模型都使用相同的內部行為
    • 模型在指令遵循、訓練、功能和 API 預設值方面可能有所不同
    • 提示始終與模型無關
  2. API 相容性是否保證相同的模型行為?
    • 是的,相容的請求必須產生相同的文本
    • 是的,如果模型共享一個上下文窗口
    • 不,因為 API 相容性是不可能的
    • 不;請求格式可以匹配,但輸出和支援的功能不同
  3. 團隊如何公平地比較不同模型的提示?
    • 為每個模型使用不同的測試集
    • 使用相同的任務範例、相關設定和評分標準
    • 僅比較行銷描述
    • 運行一個提示一次
  4. 可移植性測試應該記錄什麼?
    • 確切的型號識別碼、版本、設定和測試日期
    • 僅提示的檔名
    • 僅平均響應長度
    • 部署後什麼都沒有
  5. 即使 API 看起來相似,哪些功能也可能有所不同?
    • 提示包含文字這一事實
    • 請求是否有輸入
    • 結構化輸出支援或工具呼叫行為
    • 評價的概念
  6. 應如何評估特定於模型的提示調整?
    • 假設它改善了所有任務
    • 以受控方式更改它並針對保留集進行測試
    • 調整每個評估案例
    • 刪除基線提示
  7. 簡單任務上的提示是否會自動移植到安全敏感任務?
    • 是的,如果措詞相同
    • 是的,因為安全規則是通用的
    • 不,因為簡單的任務無法評估
    • 不;安全性和工具行為需要自己的測試
  8. 模型或提供者更新後團隊應該做什麼?
    • 根據應用程式的要求重新執行回歸測試
    • 假設先前的分數仍然適用
    • 僅更改型號名稱
    • 移除評估集