แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบอคติ Logit
ตรวจสอบว่าอคติโลจิตของโทเค็น-ID เปลี่ยนแปลงการสุ่มตัวอย่าง ข้อจำกัดคำย่อย และเหตุใดการควบคุมระดับโทเค็นจึงส่งผลต่อข้อความมากกว่าที่ตั้งใจไว้ได้อย่างไร
คำถาม 1 ของ 8
อคติ logit แก้ไขอะไร?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- อคติ logit แก้ไขอะไร?
- คะแนน (logit) ของโทเค็นเฉพาะก่อนการสุ่มตัวอย่าง
- ตุ้มน้ำหนักการฝึกของโมเดลอย่างถาวร
- อุณหภูมิของพรอมต์ทั้งหมด
- จำนวนโทเค็นในหน้าต่างบริบท
- ใน API หลายๆ ตัว ความเอนเอียงของ logit ที่ -100 บนโทเค็นบรรลุผลอะไร
- ทำให้โทเค็นมีโอกาสมากขึ้น 100 เท่า
- ห้ามมิให้มีการสร้างโทเค็นอย่างมีประสิทธิภาพ
- ลบโทเค็นออกจากคำศัพท์อย่างถาวร
- เพิ่มความเร็วของโมเดลเป็นสองเท่า
- What numeric range does the documented OpenAI Chat Completions logit_bias accept for a token?
- From 0 to 1 only
- From -1 to 1 only
- From -100 to 100
- Any string value
- Logit bias มีความสำคัญต่อตัวระบุใด
- คำที่เป็นข้อความธรรมดา
- ตำแหน่งประโยค
- ชื่อรุ่น
- ID โทเค็นที่เป็นตัวเลข
- เนื่องจากการบันทึกถูกส่งผ่านซอฟต์แม็กซ์ การเพิ่มอคติเชิงบวกจะมีผลอย่างไร
- โดยจะเพิ่มน้ำหนักสัมพัทธ์ของโทเค็นแบบทวีคูณก่อนที่จะทำให้เป็นมาตรฐาน
- มันเพิ่มความน่าจะเป็นแบบคงที่เชิงเส้น
- มันไม่มีผลจนกว่าจะฝึก
- มันจะลบโทเค็นออกจากการพิจารณา
- ข้อได้เปรียบที่สำคัญของอคติ logit มากกว่าการปรับแต่งแบบละเอียดคือ:
- ปรับปรุงความรู้ของโมเดลอย่างถาวร
- ไม่ต้องมีการฝึกอบรมซ้ำและใช้ตามคำขอ
- เพิ่มขนาดหน้าต่างบริบท
- ใช้งานได้กับภาพเท่านั้น
- Why should a developer inspect the tokenizer before applying a bias to a visible word?
- Token IDs are assigned only after sampling
- Visible words always equal one token
- The word may be represented by several token IDs, so biasing one ID may not cover all forms
- The tokenizer controls the model’s training data
- What is a practical risk of applying a strong positive bias to one token?
- It increases the context window
- It changes the model weights permanently
- It guarantees the token appears exactly once
- It can distort generation or produce repetitive, awkward text