Викторина, связанная с руководством · Средний Уровень
Гендерная предвзятость в языковых моделях. Викторина
Проверяет, как гендерные ассоциации проявляются при внедрении, переводе, кореференции и моделировании найма, сохраняя при этом результаты в рамках конкретных исследований.
Вопрос 1 из 8
Что изменялось в кандидатских подсказках исследования 2024 EMNLP по рекомендациям по трудоустройству?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Что изменялось в кандидатских подсказках исследования 2024 EMNLP по рекомендациям по трудоустройству?
- First names signaling race and gender while qualifications were held comparable
- Only candidates’ university grades
- Only the model’s temperature
- Different job descriptions with no candidate information
- Which two models did that study test?
- Only GPT-4o
- BERT and ELIZA
- GPT-3.5-Turbo and Llama 3-70B-Instruct
- Whisper and DeepSpeech
- Какое ограничение следует учитывать читателям относительно выводов, основанных на именах?
- It measured only real-world job offers
- The prompt signals combined race and gender, and simulated recommendations do not prove deployed employer behavior
- It tested every hiring system used worldwide
- It included no names
- Что оценивает бенчмарк WinoBias?
- Translation quality for numbers
- Speech-recognition accuracy by accent
- Coreference errors on stereotypical and anti-stereotypical occupation sentences
- Age-estimation error in faces
- Как машинный перевод может ввести гендерное предположение?
- It always translates every noun into a verb
- It can add a gendered pronoun when the source language does not specify gender
- Убирает все знаки препинания
- It converts spoken words into images
- Почему удаление всех гендерных ассоциаций из эмбеддинга может быть проблематичным?
- It makes word vectors impossible to store
- It guarantees model bias increases
- It removes all occupations from a vocabulary
- Some gender information is relevant to meaning or identity and cannot be cleanly separated from stereotypes
- Which evaluation design best tests whether a gender cue changes a recommendation?
- Test one output from one model
- Compare unrelated people in different jobs
- Change gender, education, salary and occupation together
- Hold qualifications and task constant while varying the cue in repeated prompts
- What does a lower stereotype score on one benchmark establish?
- Only performance on that benchmark and setup, not fairness across every product use
- That translation quality is perfect
- A guarantee of legal compliance
- That all gender bias has been removed