แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบอคติ Logit

ตรวจสอบว่าอคติโลจิตของโทเค็น-ID เปลี่ยนแปลงการสุ่มตัวอย่าง ข้อจำกัดคำย่อย และเหตุใดการควบคุมระดับโทเค็นจึงส่งผลต่อข้อความมากกว่าที่ตั้งใจไว้ได้อย่างไร

เส้นทางแนะนำที่เกี่ยวข้องLogit อคติ
คำถาม 1 ของ 8

อคติ logit แก้ไขอะไร?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. อคติ logit แก้ไขอะไร?
    • คะแนน (logit) ของโทเค็นเฉพาะก่อนการสุ่มตัวอย่าง
    • ตุ้มน้ำหนักการฝึกของโมเดลอย่างถาวร
    • อุณหภูมิของพรอมต์ทั้งหมด
    • จำนวนโทเค็นในหน้าต่างบริบท
  2. ใน API หลายๆ ตัว ความเอนเอียงของ logit ที่ -100 บนโทเค็นบรรลุผลอะไร
    • ทำให้โทเค็นมีโอกาสมากขึ้น 100 เท่า
    • ห้ามมิให้มีการสร้างโทเค็นอย่างมีประสิทธิภาพ
    • ลบโทเค็นออกจากคำศัพท์อย่างถาวร
    • เพิ่มความเร็วของโมเดลเป็นสองเท่า
  3. What numeric range does the documented OpenAI Chat Completions logit_bias accept for a token?
    • From 0 to 1 only
    • From -1 to 1 only
    • From -100 to 100
    • Any string value
  4. Logit bias มีความสำคัญต่อตัวระบุใด
    • คำที่เป็นข้อความธรรมดา
    • ตำแหน่งประโยค
    • ชื่อรุ่น
    • ID โทเค็นที่เป็นตัวเลข
  5. เนื่องจากการบันทึกถูกส่งผ่านซอฟต์แม็กซ์ การเพิ่มอคติเชิงบวกจะมีผลอย่างไร
    • โดยจะเพิ่มน้ำหนักสัมพัทธ์ของโทเค็นแบบทวีคูณก่อนที่จะทำให้เป็นมาตรฐาน
    • มันเพิ่มความน่าจะเป็นแบบคงที่เชิงเส้น
    • มันไม่มีผลจนกว่าจะฝึก
    • มันจะลบโทเค็นออกจากการพิจารณา
  6. ข้อได้เปรียบที่สำคัญของอคติ logit มากกว่าการปรับแต่งแบบละเอียดคือ:
    • ปรับปรุงความรู้ของโมเดลอย่างถาวร
    • ไม่ต้องมีการฝึกอบรมซ้ำและใช้ตามคำขอ
    • เพิ่มขนาดหน้าต่างบริบท
    • ใช้งานได้กับภาพเท่านั้น
  7. Why should a developer inspect the tokenizer before applying a bias to a visible word?
    • Token IDs are assigned only after sampling
    • Visible words always equal one token
    • The word may be represented by several token IDs, so biasing one ID may not cover all forms
    • The tokenizer controls the model’s training data
  8. What is a practical risk of applying a strong positive bias to one token?
    • It increases the context window
    • It changes the model weights permanently
    • It guarantees the token appears exactly once
    • It can distort generation or produce repetitive, awkward text