Kvíz spojený s průvodcem · Střední úroveň

Dialect Bias a afroamerická angličtina v NLP kvízu

Testuje AAE jako systematický dialekt, důkazy ze studií toxicity a LLM a limity zobecňování zjištění napříč mluvčími a úkoly.

Otázka 1 z 8

Jak by měla být popsána AAE v hodnocení NLP?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jak by měla být popsána AAE v hodnocení NLP?
    • Jako jediná chyba psaní sdílená všemi černochy
    • Jako systematický, vnitřně pestrý anglický dialekt, nikoli nesprávná angličtina
    • Jako jazyk používaný pouze online
    • Jako spolehlivý ukazatel rasy člověka
  2. Co Sap a spol. najít o souborech údajů o toxicitě, které zahrnovaly tweety AAE?
    • Povrchové markery AAE korelovaly se značkami toxicity v několika souborech dat
    • AAE byl vždy správně identifikován anotátory
    • Každý tweet AAE byl označen jako neškodný
    • Studie testovala pouze systémy převodu řeči na text
  3. V Sap et al. studie, jak modely trénované na těchto korpusech zacházely s AAE tweety v testovaných datech?
    • Ve všech případech bylo méně pravděpodobné, že budou označeny za urážlivé
    • Ve srovnání s jinými tweety měly až dvakrát vyšší pravděpodobnost, že budou označeny jako urážlivé
    • Byli vždy vyloučeni z moderování
    • Model nikdy nepoužíval tréninkové štítky
  4. Co udělalo dialektové priming pro lidské anotátory ve studii ACL?
    • To odstranilo variace dialektu
    • Díky tomu byla každá anotace identická
    • Upozorňování anotátorů na AAE snížilo pravděpodobnost, že označili tweet za urážlivý
    • Zvýšil hodnocení toxicity
  5. Co porovnávalo sondování s odpovídající maskou ve studii Nature z roku 2024?
    • Různé lékařské diagnózy pro lidi různého věku
    • Dva mikrofony řeči v hlučné místnosti
    • Pouze urážlivá a neurážlivá slova
    • Modelové odpovědi na srovnatelný obsah vyjádřené v AAE a standardní americké angličtině
  6. Kolik verzí modelu zkoumala studie Nature z roku 2024?
    • dvanáct
    • Dvě
    • Sto patnáct
    • Sedm set padesát tisíc
  7. Jaké omezení rozsahu platí pro zobecnění výsledků dialektové zaujatosti?
    • Studie zahrnovala všechny anglické dialekty po celém světě
    • Každý černoch používá stejné dialektové rysy
    • AAE je jazyk, kterým mluví pouze jedna věková skupina
    • AAE nepoužívají všichni černoši a vzorky dialektů studie nereprezentují každého mluvčího nebo kontext
  8. Co by měl vývojář dělat při hodnocení dialektové zaujatosti?
    • Spolehněte se pouze na celkové skóre přesnosti
    • Automaticky přepište každý dialekt do SAE
    • Používejte testy shodné s významem, měřte chyby specifické pro daný úkol a zapojte dotčené mluvčí
    • Odvodit rasu z dialektové značky