คู่มือ AI ภาษา

การสุ่มตัวอย่างทั่วไป

Typical sampling ranks candidate tokens by how close their surprisal is to the model distribution’s expected surprisal (entropy), then samples from a set reaching a chosen probability mass.

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการสุ่มตัวอย่างทั่วไป
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

This is a decoding heuristic, not a guarantee of human-like, factual, or coherent output.

เจาะลึก

When a language model predicts the next token, it produces a probability distribution over thousands of options. Greedy and top-k methods favor high-probability tokens, which can make text repetitive and bland. Typical sampling, introduced by Meister and colleagues in 2022, takes a different angle rooted in information theory. The model computes its expected information content (the entropy of the distribution). Tokens are then scored by how far their own surprisal sits from that expectation. Typical sampling keeps the set of tokens whose surprisal is closest to the average until their combined probability reaches a threshold, then samples from that set. The method favors tokens whose surprisal is closer to the distribution’s expected surprisal. It does not guarantee human-like wording, factual correctness, or coherence; evaluate outputs on the intended task.

การใช้งานจริงในโลกแห่งความเป็นจริง

การสร้างนิยายหรือบทกวีที่การถอดรหัสอย่างละโมบทำให้เกิดร้อยแก้วที่น่าเบื่อและซ้ำซาก และนักเขียนต้องการความหลากหลายที่เป็นธรรมชาติมากขึ้น

ขับเคลื่อนการตอบกลับแชทบอทที่หลีกเลี่ยงการใช้ถ้อยคำแบบหุ่นยนต์และเป็นไปตามสูตร ในขณะที่ยังคงสอดคล้องกันและอยู่ในหัวข้อ

พร้อมใช้งานในรูปแบบแฟล็กการถอดรหัส (typical_p) ใน Hugging Face Transformers สำหรับนักพัฒนาในการปรับแต่งเอาต์พุตโมเดลโอเพ่นซอร์ส

ใช้ในรันไทม์ LLM ท้องถิ่น เช่น llama.cpp และ text-generator-webui เป็นทางเลือกแทน top-p สำหรับข้อความที่สมบูรณ์และเสื่อมน้อยลง

อนาคตของการสุ่มตัวอย่างทั่วไป

การสุ่มตัวอย่างทั่วไปกำลังกลายเป็นตัวเลือกมาตรฐานควบคู่ไปกับ top-p และ top-k ในสแต็กการอนุมานโอเพ่นซอร์ส เช่น llama.cpp และ Hugging Face Transformers คาดว่าจะมีการใช้งานเพิ่มมากขึ้นในการเขียนเชิงสร้างสรรค์ บทสนทนา และการสร้างเรื่องราว ซึ่งการถอดรหัสที่ปลอดภัยเกินไปจะส่งผลเสียต่อคุณภาพ นักวิจัยกำลังผสมผสานกับเกณฑ์การปรับตัวที่เปลี่ยนไปตามบริบทและรวมกับบทลงโทษซ้ำ เมื่อการถอดรหัสทางทฤษฎีข้อมูลเติบโตขึ้น การสุ่มตัวอย่างโดยทั่วไปอาจแจ้งวิธีการอัตโนมัติที่รับรู้การกระจาย ซึ่งจะยกเลิกการตั้งค่าอุณหภูมิที่ปรับด้วยมือ

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ความเร็วและขนาด. ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
  • เข้าถึงและเข้าถึง. ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ

ระวัง

  • ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
  • ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
  • ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ

ขั้นตอนต่อไป

  1. กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
  2. การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
  3. รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
  4. ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Typical Sampling quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is Typical Sampling?

Typical sampling ranks candidate tokens by how close their surprisal is to the model distribution’s expected surprisal (entropy), then samples from a set reaching a chosen probability mass. This is a decoding heuristic, not a guarantee of human-like, factual, or coherent output.

การสุ่มตัวอย่างโดยทั่วไปมีปริมาณหลักเท่าใดในการเปรียบเทียบโทเค็นผู้สมัครแต่ละรายการกับ

การสุ่มตัวอย่างโดยทั่วไปจะวัดว่าโทเค็นแต่ละโทเค็นมีความประหลาดใจมากเพียงใดจากเอนโทรปีของการแจกแจง ซึ่งเป็นเนื้อหาข้อมูลที่คาดหวัง โดยเก็บโทเค็นที่มีความประหลาดใจใกล้กับค่าเฉลี่ยมากที่สุด

การสุ่มตัวอย่างโดยทั่วไปจะปฏิบัติต่อโทเค็นที่น่าจะเป็นไปได้มากที่สุดเพียงตัวเดียวอย่างไร

โทเค็นที่มีความน่าจะเป็นสูงมากมีความประหลาดใจต่ำมาก ซึ่งอาจอยู่ไกลจากค่าเฉลี่ย ดังนั้นการสุ่มตัวอย่างทั่วไปจึงอาจไม่อยู่ในกลุ่มผู้สมัครที่ตั้งค่าไว้เพื่อสนับสนุนโทเค็น 'ทั่วไป' มากกว่า

การสุ่มตัวอย่างโดยทั่วไปได้รับแรงบันดาลใจจากแนวคิดใดเกี่ยวกับภาษามนุษย์

วิธีการนี้ใช้สมมติฐานที่ว่าภาษาธรรมชาตินั้นใกล้เคียงกับอัตราข้อมูลที่สม่ำเสมอ ดังนั้นจึงสนับสนุนโทเค็นที่มีการเซอร์ไพรส์ที่ใกล้เคียงกับค่าเฉลี่ย

พารามิเตอร์ tau ในการควบคุมการสุ่มตัวอย่างทั่วไปมีอะไรบ้าง

เอกภาพกำหนดเป้าหมายความน่าจะเป็นสะสม โทเค็นที่ใกล้กับเอนโทรปีมากที่สุดจะถูกเพิ่มจนกว่าความน่าจะเป็นรวมจะถึงเอกภาพ โดยกำหนดชุดที่จะสุ่มตัวอย่าง

Compared with greedy decoding, what does typical sampling try to change?

Typical sampling uses surprisal relative to entropy rather than simply choosing the most likely token.

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →