แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบการสุ่มตัวอย่างเชิงลบและการประมาณค่าความเปรียบต่างของสัญญาณรบกวน

ตรวจสอบว่า NCE และการสุ่มตัวอย่างเชิงลบใช้ตัวอย่างเสียงรบกวน ลดต้นทุนซอฟต์แม็กซ์เต็ม และเป้าหมายความน่าจะเป็นที่แตกต่างกันอย่างไร

คำถาม 1 ของ 8

การสุ่มตัวอย่างเชิงลบและ NCE แก้ปัญหาอะไรเป็นหลัก

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. การสุ่มตัวอย่างเชิงลบและ NCE แก้ปัญหาอะไรเป็นหลัก
    • ค่าใช้จ่ายสูงในการประมวลผลซอฟต์แม็กซ์เต็มรูปแบบบนพื้นที่เอาท์พุตที่มีขนาดใหญ่มาก
    • การติดตั้งมากเกินไปบนชุดข้อมูลขนาดเล็ก
    • การไล่ระดับสีที่หายไปในเครือข่ายที่เกิดซ้ำ
    • การขาดข้อมูลที่มีป้ายกำกับสำหรับการเรียนรู้แบบมีผู้สอน
  2. การประมาณค่าความเปรียบต่างของสัญญาณรบกวนปรับกรอบงานการเรียนรู้อย่างไร
    • เป็นการถดถอยบนเป้าหมายต่อเนื่อง
    • เป็นการจำแนกประเภทไบนารีระหว่างตัวอย่างข้อมูลจริงและตัวอย่างเสียง
    • เป็นกลุ่มของจุดที่ไม่มีป้ายกำกับ
    • เป็นการเสริมการเรียนรู้พร้อมรางวัล
  3. โมเดลใดที่ทำให้การสุ่มตัวอย่างเชิงลบเป็นที่นิยมสำหรับการเรียนรู้การฝังคำ
    • เบิร์ต
    • เรสเน็ต
    • โมเดลข้ามแกรมของ word2vec
    • GPT-2
  4. การสุ่มตัวอย่างเชิงลบแตกต่างจาก NCE แบบเต็มอย่างไร
    • มันเพิ่มเงื่อนไขการทำให้เป็นมาตรฐานเพิ่มเติมเพื่อความแม่นยำ
    • ต้องใช้คำศัพท์ทั้งหมดในทุกขั้นตอน
    • มันใช้การสูญเสียการถดถอยแทนซิกมอยด์
    • โดยลดเงื่อนไขการทำให้เป็นมาตรฐานของ NCE ลง ทำให้เร็วขึ้นแต่ไม่ใช่ตัวประมาณความหนาแน่นที่สอดคล้องกัน
  5. เหตุใดค่าเนกาทีฟจึงมักสุ่มตัวอย่างจากการแจกแจงแบบยูนิแกรมยกกำลัง 3/4
    • เพื่อสร้างสมดุลระหว่างอิทธิพลของคำที่ใช้บ่อยและคำที่หายาก แทนที่จะสุ่มตัวอย่างตามความถี่ล้วนๆ
    • ละเลยคำหายากไปโดยสิ้นเชิง
    • เพื่อให้ทุกคำมีโอกาสเท่าเทียมกัน
    • เพื่อลบคำหยุดออกจากการฝึกอบรม
  6. For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
    • It computes an exact probability for every vocabulary item
    • The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
    • It eliminates the need to score the positive pair
    • It sorts all words by frequency on each step
  7. In skip-gram negative sampling, what is treated as the positive training pair?
    • Two words sampled independently from the noise distribution
    • A word paired with an empty context
    • A word and a context word observed together in the corpus
    • A validation label paired with a model checkpoint
  8. Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
    • It always sums over the full vocabulary
    • It requires exact maximum-likelihood normalization
    • It never uses negative examples
    • Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead