แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการลงโทษการทำซ้ำและการถอดรหัสการควบคุม

เปรียบเทียบอุณหภูมิ, top-k, top-p และการลงโทษการทำซ้ำ รวมถึงการเปลี่ยนแปลงบันทึกก่อนที่จะสุ่มตัวอย่างในเวิร์กโฟลว์การสร้าง LLM

คำถาม 1 ของ 8

การเพิ่มพารามิเตอร์ 'อุณหภูมิ' ส่งผลต่อเอาต์พุตของแบบจำลองอย่างไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. การเพิ่มพารามิเตอร์ 'อุณหภูมิ' ส่งผลต่อเอาต์พุตของแบบจำลองอย่างไร
    • ทำให้มีความสุ่มและหลากหลายมากขึ้น
    • ทำให้มีความมุ่งมั่นและตั้งใจมากขึ้น
    • เปลี่ยนน้ำหนักของโมเดลอย่างถาวร
    • เร่งการสร้าง
  2. การสุ่มตัวอย่าง top-p (นิวเคลียส) ตัดสินใจเลือกโทเค็นใดที่ควรพิจารณาอย่างไร
    • โดยจะเก็บโทเค็นจำนวนคงที่โดยไม่คำนึงถึงความน่าจะเป็น
    • โดยจะเก็บชุดโทเค็นที่เล็กที่สุดซึ่งความน่าจะเป็นจะรวมกันถึงเกณฑ์
    • โดยจะเก็บโทเค็นที่เป็นไปได้มากที่สุดเพียงอันเดียวเท่านั้น
    • มันเก็บโทเค็นด้วยความน่าจะเป็นที่สูงกว่า 50%
  3. โดยทั่วไปการลงโทษการทำซ้ำจะดำเนินการในขั้นตอนใด
    • บนข้อความดิบแล้วรุ่นเล่า
    • เกี่ยวกับข้อมูลการฝึกอบรม
    • ในการเข้าสู่ระบบก่อน softmax
    • เกี่ยวกับคำศัพท์โทเค็น
  4. In OpenAI’s text-generation API, how do presence and frequency penalties differ?
    • การลงโทษการแสดงตนจะปรับขนาดตามจำนวนโทเค็น การลงโทษความถี่เป็นแบบแบน
    • พวกเขาเหมือนกัน
    • ทั้งสองใช้กับโทเค็นแรกเท่านั้น
    • Frequency penalty scales with how often a token appeared; presence penalty applies once if it appeared at all
  5. For code completion where deterministic sampling is desired, which setting best matches the guide?
    • อุณหภูมิใกล้ศูนย์
    • อุณหภูมิที่สูงมาก
    • โทษซ้ำซ้อนสูงกว่า 2.0
    • Top-p 1.0 ที่มีอุณหภูมิสูง
  6. การสุ่มตัวอย่าง top-k ทำหน้าที่อะไร?
    • เก็บโทเค็นรวมเข้ากับความน่าจะเป็น k
    • เก็บโทเค็นที่เป็นไปได้มากที่สุด k เท่านั้นไว้เป็นตัวเลือก
    • คูณลอจิททั้งหมดด้วย k
    • ลบโทเค็นที่มีโอกาสน้อยที่สุด k รายการออกจากการฝึก
  7. With a repetition penalty above 1, how does a standard logits processor adjust a previously seen token?
    • It sets every repeated-token logit to zero
    • It adds the penalty to every token equally
    • It divides a positive logit by the penalty and multiplies a negative logit by it
    • It removes the token from the vocabulary permanently
  8. How does top-k differ from top-p sampling?
    • Top-k uses cumulative probability while top-p fixes a count
    • Top-k changes model weights while top-p changes the tokenizer
    • They are both deterministic decoding methods
    • Top-k keeps a fixed number of candidates; top-p keeps a probability-mass-based set