Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Bài kiểm tra về xu hướng giới tính trong mô hình ngôn ngữ

Kiểm tra cách các mối liên hệ về giới xuất hiện trong các phần nhúng, dịch thuật, tham chiếu và tuyển dụng mô phỏng, trong khi vẫn giữ kết quả trong phạm vi nghiên cứu cụ thể.

Đường dẫn hướng dẫn liên quanXu hướng giới tính trong mô hình ngôn ngữ
Câu hỏi 1 của 8

What did the 2024 EMNLP employment-recommendation study vary across its candidate prompts?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. What did the 2024 EMNLP employment-recommendation study vary across its candidate prompts?
    • First names signaling race and gender while qualifications were held comparable
    • Only candidates’ university grades
    • Only the model’s temperature
    • Different job descriptions with no candidate information
  2. Which two models did that study test?
    • Only GPT-4o
    • BERT and ELIZA
    • GPT-3.5-Turbo and Llama 3-70B-Instruct
    • Whisper and DeepSpeech
  3. What limitation should readers keep in mind about the study’s name-based findings?
    • It measured only real-world job offers
    • Câu lệnh tín hiệu kết hợp chủng tộc và giới tính, và các đề xuất mô phỏng không chứng minh hành vi của nhà tuyển dụng đã triển khai
    • Nó đã kiểm tra mọi hệ thống tuyển dụng được sử dụng trên toàn thế giới
    • Nó không bao gồm bất kỳ tên nào
  4. Chỉ số WinoBias đánh giá gì?
    • Chất lượng dịch cho số liệu
    • Độ chính xác nhận dạng giọng nói theo giọng
    • Lỗi tham chiếu đồng thời trong câu về nghề nghiệp mang tính định kiến và chống định kiến
    • Sai số ước tính tuổi trong khuôn mặt
  5. Cách dịch máy có thể đưa ra giả định về giới tính?
    • Nó luôn dịch mọi danh từ thành động từ
    • Nó có thể thêm đại từ giới tính khi ngôn ngữ nguồn không chỉ định giới tính
    • Nó loại bỏ tất cả các dấu câu
    • Nó chuyển đổi từ ngữ nói thành hình ảnh
  6. Why can removing every gender association from an embedding be problematic?
    • It makes word vectors impossible to store
    • It guarantees model bias increases
    • It removes all occupations from a vocabulary
    • Some gender information is relevant to meaning or identity and cannot be cleanly separated from stereotypes
  7. Which evaluation design best tests whether a gender cue changes a recommendation?
    • Test one output from one model
    • Compare unrelated people in different jobs
    • Change gender, education, salary and occupation together
    • Hold qualifications and task constant while varying the cue in repeated prompts
  8. What does a lower stereotype score on one benchmark establish?
    • Only performance on that benchmark and setup, not fairness across every product use
    • That translation quality is perfect
    • A guarantee of legal compliance
    • That all gender bias has been removed