Kvíz spojený s průvodcem · Střední úroveň
Pokyny pro psaní anotací pro kvíz o označování dat
Testuje porozumění okrajovým případům, struktuře směrnic, verzování a mylným představám při psaní anotací.
Otázka 1 z 8
Proč směrnice říká, že nekonzistentně označená tréninková data jsou problémem bez ohledu na architekturu modelu?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Proč směrnice říká, že nekonzistentně označená tréninková data jsou problémem bez ohledu na architekturu modelu?
- Protože model se učí šum místo zamýšleného konceptu z označení, která dostane
- Protože nekonzistentní označení vždy zničí tréninkový pipeline
- Protože nekonzistentní označení přímo zvyšují náklady na GPU
- Protože označování nemá žádný vliv na výkon modelu
- Podle směrnice, odkud pochází většina nesouhlasu mezi anotátory?
- Z barevného schématu rozhraní pro označování
- Z okrajových případů, které nejsou jasně vyřešeny v směrnicích
- Z celkového počtu označení aplikovaných denně
- Od anotátorů používajících různé klávesnice
- Co průvodce doporučuje udělat před rozšířením anotovacích směrnic na celý dataset?
- Přeskočit jakýkoli pilot a označovat vše najednou pro rychlost
- Odstranit všechny okrajové příklady, aby byl dokument stručný
- Pilotovat směrnice na malé dávce, přezkoumat nesouhlasy a upravit před rozšířením
- Přiřadit celý dataset pouze jednomu anotátorovi
- Podle průvodce, jaký je zdokumentovaný omyl ohledně délky a konzistence směrnic?
- Že směrnice by nikdy neměly obsahovat příklady
- Že krátké směrnice vždy způsobují více chyb než dlouhé
- Že směrnice nepotřebují aktualizaci po jejich sepsání
- Že podrobnější směrnice vždy zlepšují konzistenci, zatímco příliš dlouhá nebo konfliktní pravidla ji mohou ve skutečnosti snížit
- Proč by měly být revize směrnic verzovány a svázány s konkrétními datovými dávkami?
- Aby se po revizi, pokud klesnou skóre dohody, mohlo určitě identifikovat konkrétní změnu a ovlivněný dávkový balíček
- Aby mohli anotátoři dostávat odměnu různě podle verze
- Protože softwarové nástroje pro označování vyžadují čísla verzí k fungování
- Aby se po použití mohl dokument s pokyny smazat
- Jakou roli podle průvodce hrají kalibrační sezení?
- Nahradí potřebu jakéhokoli psaného dokumentu s pokyny
- Umožňují anotátorům označit stejný vzorek a společně diskutovat o nesrovnalostech, čímž sladí hodnocení v nejednoznačných případech
- Používají se pouze k testování rychlosti psaní anotátorů
- Jsou formální právní požadavkem pro všechny projekty označování
- Jak průvodce popisuje vznikající vztah mezi pokyny k anotaci a LLM?
- LLM zcela znepotřebovaly pokyny k anotaci
- LLM nemohou používat žádnou formu psaného pokynu
- Pokyny se začínají dvojitě používat jako výzvy pro modely provádějící první označování, s následnou kontrolou lidmi
- Pokyny pro anotaci se nyní používají jen pro trénink LLM, nikdy pro lidi
- V příkladu pojmenovaných entit v průvodci, jak by měla být označena titulka jako „Dr.“ připojená ke jménu?
- Jako samostatná kategorie titulů, odlišná od entity osoba
- Měl by zůstat zcela neoznačený
- Měl by být označen jako organizační entita
- Jako součást osoby, ne samostatná kategorie titulů