แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการประเมิน BERTScore และความหมาย

ตรวจสอบการจับคู่โทเค็นตามบริบท ความแม่นยำ และทิศทางการเรียกคืน การถ่วงน้ำหนัก IDF และการลดขนาดพื้นฐานในการประเมินข้อความเชิงความหมาย

เส้นทางแนะนำที่เกี่ยวข้องการประเมิน Bertscore และความหมาย
คำถาม 1 ของ 8

จุดอ่อนหลักประการใดของ BLEU และ ROUGE ที่ BERTScore กล่าวถึง

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. จุดอ่อนหลักประการใดของ BLEU และ ROUGE ที่ BERTScore กล่าวถึง
    • พวกเขาลงโทษการถอดความที่ถูกต้องซึ่งใช้คำต่างกัน
    • ทำงานช้าเกินไปกับเอกสารขนาดยาว
    • พวกเขาต้องการคำอธิบายประกอบที่เป็นมนุษย์สำหรับทุกคะแนน
    • ใช้งานได้เฉพาะกับการแปลเท่านั้น ไม่ใช่การสรุป
  2. BERTScore ตัดสินอย่างไรว่าโทเค็นทั้งสองมีความคล้ายคลึงกัน
    • โดยการนับตัวอักษรที่ใช้ร่วมกัน
    • ด้วยความคล้ายคลึงโคไซน์ของการฝังตามบริบท
    • โดยตรวจสอบว่าปรากฏในรายการพจนานุกรมเดียวกันหรือไม่
    • โดยการจับคู่สตริงแบบตรงทั้งหมด
  3. การฝัง BERTScore นั้นเป็น 'บริบท' หมายความว่าอย่างไร
    • โดยจะคำนวณเพียงครั้งเดียวต่อคำศัพท์หนึ่งคำ
    • พวกเขาเพิกเฉยต่อคำที่อยู่รอบข้างโดยสิ้นเชิง
    • คำเดียวกันจะได้เวกเตอร์ต่างกันขึ้นอยู่กับประโยค
    • ขึ้นอยู่กับการนับความถี่ของคำ
  4. โดยทั่วไป BERTScore จะรายงานค่าสามค่าใด
    • BLEU, ROUGE และดาวตก
    • ความแม่นยำ การเรียกคืน และความฉงนสนเท่ห์
    • อคติ ความแปรปรวน และการสูญเสีย
    • ความแม่นยำ การเรียกคืน และ F1
  5. วัตถุประสงค์ของการถ่วงน้ำหนัก IDF เพิ่มเติมใน BERTScore คืออะไร
    • เพื่อลดน้ำหนักคำทั่วไปและให้ข้อมูลน้อย
    • เพื่อเพิ่มความเร็วในการคำนวณการฝัง
    • เพื่อแปลงคะแนนเป็นเปอร์เซ็นต์
    • เพื่อแปลข้อความก่อนให้คะแนน
  6. เหตุใดบางครั้งการปรับขนาดพื้นฐานจึงนำไปใช้กับ BERTScore
    • เพื่อขจัดความจำเป็นในการใช้ข้อความอ้างอิง
    • เพื่อให้คะแนนดิบกระจายไปในช่วงที่ตีความได้มากขึ้น
    • เพื่อแปลงเป็น BLEU เพื่อเปรียบเทียบ
    • เพื่อกำจัดการฝังโมเดลโดยสิ้นเชิง
  7. In BERTScore, which direction corresponds to recall?
    • For each candidate token, find its best-matching reference token
    • Compare sentence lengths only
    • For each reference token, find its best-matching candidate token
    • Count exact matching n-grams
  8. Why can IDF weighting change BERTScore’s token contribution?
    • It replaces contextual embeddings with word counts
    • It removes the reference text
    • It forces every token to have identical similarity
    • Common words receive less weight than more informative words