แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบการสุ่มตัวอย่างเชิงลบและการประมาณค่าความเปรียบต่างของสัญญาณรบกวน
ตรวจสอบว่า NCE และการสุ่มตัวอย่างเชิงลบใช้ตัวอย่างเสียงรบกวน ลดต้นทุนซอฟต์แม็กซ์เต็ม และเป้าหมายความน่าจะเป็นที่แตกต่างกันอย่างไร
คำถาม 1 ของ 8
การสุ่มตัวอย่างเชิงลบและ NCE แก้ปัญหาอะไรเป็นหลัก
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- การสุ่มตัวอย่างเชิงลบและ NCE แก้ปัญหาอะไรเป็นหลัก
- ค่าใช้จ่ายสูงในการประมวลผลซอฟต์แม็กซ์เต็มรูปแบบบนพื้นที่เอาท์พุตที่มีขนาดใหญ่มาก
- การติดตั้งมากเกินไปบนชุดข้อมูลขนาดเล็ก
- การไล่ระดับสีที่หายไปในเครือข่ายที่เกิดซ้ำ
- การขาดข้อมูลที่มีป้ายกำกับสำหรับการเรียนรู้แบบมีผู้สอน
- การประมาณค่าความเปรียบต่างของสัญญาณรบกวนปรับกรอบงานการเรียนรู้อย่างไร
- เป็นการถดถอยบนเป้าหมายต่อเนื่อง
- เป็นการจำแนกประเภทไบนารีระหว่างตัวอย่างข้อมูลจริงและตัวอย่างเสียง
- เป็นกลุ่มของจุดที่ไม่มีป้ายกำกับ
- เป็นการเสริมการเรียนรู้พร้อมรางวัล
- โมเดลใดที่ทำให้การสุ่มตัวอย่างเชิงลบเป็นที่นิยมสำหรับการเรียนรู้การฝังคำ
- เบิร์ต
- เรสเน็ต
- โมเดลข้ามแกรมของ word2vec
- GPT-2
- การสุ่มตัวอย่างเชิงลบแตกต่างจาก NCE แบบเต็มอย่างไร
- มันเพิ่มเงื่อนไขการทำให้เป็นมาตรฐานเพิ่มเติมเพื่อความแม่นยำ
- ต้องใช้คำศัพท์ทั้งหมดในทุกขั้นตอน
- มันใช้การสูญเสียการถดถอยแทนซิกมอยด์
- โดยลดเงื่อนไขการทำให้เป็นมาตรฐานของ NCE ลง ทำให้เร็วขึ้นแต่ไม่ใช่ตัวประมาณความหนาแน่นที่สอดคล้องกัน
- เหตุใดค่าเนกาทีฟจึงมักสุ่มตัวอย่างจากการแจกแจงแบบยูนิแกรมยกกำลัง 3/4
- เพื่อสร้างสมดุลระหว่างอิทธิพลของคำที่ใช้บ่อยและคำที่หายาก แทนที่จะสุ่มตัวอย่างตามความถี่ล้วนๆ
- ละเลยคำหายากไปโดยสิ้นเชิง
- เพื่อให้ทุกคำมีโอกาสเท่าเทียมกัน
- เพื่อลบคำหยุดออกจากการฝึกอบรม
- For a large vocabulary, how can sampled negative pairs reduce work compared with evaluating every word in a full softmax?
- It computes an exact probability for every vocabulary item
- The update scores a positive pair and a limited set of sampled negatives instead of normalizing over the whole vocabulary
- It eliminates the need to score the positive pair
- It sorts all words by frequency on each step
- In skip-gram negative sampling, what is treated as the positive training pair?
- Two words sampled independently from the noise distribution
- A word paired with an empty context
- A word and a context word observed together in the corpus
- A validation label paired with a model checkpoint
- Why is negative sampling not generally interpreted as estimating a normalized language-model probability?
- It always sums over the full vocabulary
- It requires exact maximum-likelihood normalization
- It never uses negative examples
- Its simplified binary objective drops NCE normalization terms and targets useful embeddings instead