แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการลงโทษการทำซ้ำและการถอดรหัสการควบคุม
เปรียบเทียบอุณหภูมิ, top-k, top-p และการลงโทษการทำซ้ำ รวมถึงการเปลี่ยนแปลงบันทึกก่อนที่จะสุ่มตัวอย่างในเวิร์กโฟลว์การสร้าง LLM
คำถาม 1 ของ 8
การเพิ่มพารามิเตอร์ 'อุณหภูมิ' ส่งผลต่อเอาต์พุตของแบบจำลองอย่างไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- การเพิ่มพารามิเตอร์ 'อุณหภูมิ' ส่งผลต่อเอาต์พุตของแบบจำลองอย่างไร
- ทำให้มีความสุ่มและหลากหลายมากขึ้น
- ทำให้มีความมุ่งมั่นและตั้งใจมากขึ้น
- เปลี่ยนน้ำหนักของโมเดลอย่างถาวร
- เร่งการสร้าง
- การสุ่มตัวอย่าง top-p (นิวเคลียส) ตัดสินใจเลือกโทเค็นใดที่ควรพิจารณาอย่างไร
- โดยจะเก็บโทเค็นจำนวนคงที่โดยไม่คำนึงถึงความน่าจะเป็น
- โดยจะเก็บชุดโทเค็นที่เล็กที่สุดซึ่งความน่าจะเป็นจะรวมกันถึงเกณฑ์
- โดยจะเก็บโทเค็นที่เป็นไปได้มากที่สุดเพียงอันเดียวเท่านั้น
- มันเก็บโทเค็นด้วยความน่าจะเป็นที่สูงกว่า 50%
- โดยทั่วไปการลงโทษการทำซ้ำจะดำเนินการในขั้นตอนใด
- บนข้อความดิบแล้วรุ่นเล่า
- เกี่ยวกับข้อมูลการฝึกอบรม
- ในการเข้าสู่ระบบก่อน softmax
- เกี่ยวกับคำศัพท์โทเค็น
- In OpenAI’s text-generation API, how do presence and frequency penalties differ?
- การลงโทษการแสดงตนจะปรับขนาดตามจำนวนโทเค็น การลงโทษความถี่เป็นแบบแบน
- พวกเขาเหมือนกัน
- ทั้งสองใช้กับโทเค็นแรกเท่านั้น
- Frequency penalty scales with how often a token appeared; presence penalty applies once if it appeared at all
- For code completion where deterministic sampling is desired, which setting best matches the guide?
- อุณหภูมิใกล้ศูนย์
- อุณหภูมิที่สูงมาก
- โทษซ้ำซ้อนสูงกว่า 2.0
- Top-p 1.0 ที่มีอุณหภูมิสูง
- การสุ่มตัวอย่าง top-k ทำหน้าที่อะไร?
- เก็บโทเค็นรวมเข้ากับความน่าจะเป็น k
- เก็บโทเค็นที่เป็นไปได้มากที่สุด k เท่านั้นไว้เป็นตัวเลือก
- คูณลอจิททั้งหมดด้วย k
- ลบโทเค็นที่มีโอกาสน้อยที่สุด k รายการออกจากการฝึก
- With a repetition penalty above 1, how does a standard logits processor adjust a previously seen token?
- It sets every repeated-token logit to zero
- It adds the penalty to every token equally
- It divides a positive logit by the penalty and multiplies a negative logit by it
- It removes the token from the vocabulary permanently
- How does top-k differ from top-p sampling?
- Top-k uses cumulative probability while top-p fixes a count
- Top-k changes model weights while top-p changes the tokenizer
- They are both deterministic decoding methods
- Top-k keeps a fixed number of candidates; top-p keeps a probability-mass-based set