Викторина, связанная с руководством · Средний Уровень

Гендерная предвзятость в языковых моделях. Викторина

Проверяет, как гендерные ассоциации проявляются при внедрении, переводе, кореференции и моделировании найма, сохраняя при этом результаты в рамках конкретных исследований.

Связанные направляющие путиГендерная предвзятость в языковых моделях
Вопрос 1 из 8

Что изменялось в кандидатских подсказках исследования 2024 EMNLP по рекомендациям по трудоустройству?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что изменялось в кандидатских подсказках исследования 2024 EMNLP по рекомендациям по трудоустройству?
    • First names signaling race and gender while qualifications were held comparable
    • Only candidates’ university grades
    • Only the model’s temperature
    • Different job descriptions with no candidate information
  2. Which two models did that study test?
    • Only GPT-4o
    • BERT and ELIZA
    • GPT-3.5-Turbo and Llama 3-70B-Instruct
    • Whisper and DeepSpeech
  3. Какое ограничение следует учитывать читателям относительно выводов, основанных на именах?
    • It measured only real-world job offers
    • The prompt signals combined race and gender, and simulated recommendations do not prove deployed employer behavior
    • It tested every hiring system used worldwide
    • It included no names
  4. Что оценивает бенчмарк WinoBias?
    • Translation quality for numbers
    • Speech-recognition accuracy by accent
    • Coreference errors on stereotypical and anti-stereotypical occupation sentences
    • Age-estimation error in faces
  5. Как машинный перевод может ввести гендерное предположение?
    • It always translates every noun into a verb
    • It can add a gendered pronoun when the source language does not specify gender
    • Убирает все знаки препинания
    • It converts spoken words into images
  6. Почему удаление всех гендерных ассоциаций из эмбеддинга может быть проблематичным?
    • It makes word vectors impossible to store
    • It guarantees model bias increases
    • It removes all occupations from a vocabulary
    • Some gender information is relevant to meaning or identity and cannot be cleanly separated from stereotypes
  7. Which evaluation design best tests whether a gender cue changes a recommendation?
    • Test one output from one model
    • Compare unrelated people in different jobs
    • Change gender, education, salary and occupation together
    • Hold qualifications and task constant while varying the cue in repeated prompts
  8. What does a lower stereotype score on one benchmark establish?
    • Only performance on that benchmark and setup, not fairness across every product use
    • That translation quality is perfect
    • A guarantee of legal compliance
    • That all gender bias has been removed