Kvíz spojený s průvodcem · Střední úroveň
Dialect Bias a afroamerická angličtina v NLP kvízu
Testuje AAE jako systematický dialekt, důkazy ze studií toxicity a LLM a limity zobecňování zjištění napříč mluvčími a úkoly.
Otázka 1 z 8
Jak by měla být popsána AAE v hodnocení NLP?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jak by měla být popsána AAE v hodnocení NLP?
- Jako jediná chyba psaní sdílená všemi černochy
- Jako systematický, vnitřně pestrý anglický dialekt, nikoli nesprávná angličtina
- Jako jazyk používaný pouze online
- Jako spolehlivý ukazatel rasy člověka
- Co Sap a spol. najít o souborech údajů o toxicitě, které zahrnovaly tweety AAE?
- Povrchové markery AAE korelovaly se značkami toxicity v několika souborech dat
- AAE byl vždy správně identifikován anotátory
- Každý tweet AAE byl označen jako neškodný
- Studie testovala pouze systémy převodu řeči na text
- V Sap et al. studie, jak modely trénované na těchto korpusech zacházely s AAE tweety v testovaných datech?
- Ve všech případech bylo méně pravděpodobné, že budou označeny za urážlivé
- Ve srovnání s jinými tweety měly až dvakrát vyšší pravděpodobnost, že budou označeny jako urážlivé
- Byli vždy vyloučeni z moderování
- Model nikdy nepoužíval tréninkové štítky
- Co udělalo dialektové priming pro lidské anotátory ve studii ACL?
- To odstranilo variace dialektu
- Díky tomu byla každá anotace identická
- Upozorňování anotátorů na AAE snížilo pravděpodobnost, že označili tweet za urážlivý
- Zvýšil hodnocení toxicity
- Co porovnávalo sondování s odpovídající maskou ve studii Nature z roku 2024?
- Různé lékařské diagnózy pro lidi různého věku
- Dva mikrofony řeči v hlučné místnosti
- Pouze urážlivá a neurážlivá slova
- Modelové odpovědi na srovnatelný obsah vyjádřené v AAE a standardní americké angličtině
- Kolik verzí modelu zkoumala studie Nature z roku 2024?
- dvanáct
- Dvě
- Sto patnáct
- Sedm set padesát tisíc
- Jaké omezení rozsahu platí pro zobecnění výsledků dialektové zaujatosti?
- Studie zahrnovala všechny anglické dialekty po celém světě
- Každý černoch používá stejné dialektové rysy
- AAE je jazyk, kterým mluví pouze jedna věková skupina
- AAE nepoužívají všichni černoši a vzorky dialektů studie nereprezentují každého mluvčího nebo kontext
- Co by měl vývojář dělat při hodnocení dialektové zaujatosti?
- Spolehněte se pouze na celkové skóre přesnosti
- Automaticky přepište každý dialekt do SAE
- Používejte testy shodné s významem, měřte chyby specifické pro daný úkol a zapojte dotčené mluvčí
- Odvodit rasu z dialektové značky