Kvíz spojený s průvodcem · Střední úroveň

Pokyny pro psaní anotací pro kvíz o označování dat

Testuje porozumění okrajovým případům, struktuře směrnic, verzování a mylným představám při psaní anotací.

Související vodicí cestyPokyny pro psaní anotace
Otázka 1 z 8

Proč směrnice říká, že nekonzistentně označená tréninková data jsou problémem bez ohledu na architekturu modelu?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Proč směrnice říká, že nekonzistentně označená tréninková data jsou problémem bez ohledu na architekturu modelu?
    • Protože model se učí šum místo zamýšleného konceptu z označení, která dostane
    • Protože nekonzistentní označení vždy zničí tréninkový pipeline
    • Protože nekonzistentní označení přímo zvyšují náklady na GPU
    • Protože označování nemá žádný vliv na výkon modelu
  2. Podle směrnice, odkud pochází většina nesouhlasu mezi anotátory?
    • Z barevného schématu rozhraní pro označování
    • Z okrajových případů, které nejsou jasně vyřešeny v směrnicích
    • Z celkového počtu označení aplikovaných denně
    • Od anotátorů používajících různé klávesnice
  3. Co průvodce doporučuje udělat před rozšířením anotovacích směrnic na celý dataset?
    • Přeskočit jakýkoli pilot a označovat vše najednou pro rychlost
    • Odstranit všechny okrajové příklady, aby byl dokument stručný
    • Pilotovat směrnice na malé dávce, přezkoumat nesouhlasy a upravit před rozšířením
    • Přiřadit celý dataset pouze jednomu anotátorovi
  4. Podle průvodce, jaký je zdokumentovaný omyl ohledně délky a konzistence směrnic?
    • Že směrnice by nikdy neměly obsahovat příklady
    • Že krátké směrnice vždy způsobují více chyb než dlouhé
    • Že směrnice nepotřebují aktualizaci po jejich sepsání
    • Že podrobnější směrnice vždy zlepšují konzistenci, zatímco příliš dlouhá nebo konfliktní pravidla ji mohou ve skutečnosti snížit
  5. Proč by měly být revize směrnic verzovány a svázány s konkrétními datovými dávkami?
    • Aby se po revizi, pokud klesnou skóre dohody, mohlo určitě identifikovat konkrétní změnu a ovlivněný dávkový balíček
    • Aby mohli anotátoři dostávat odměnu různě podle verze
    • Protože softwarové nástroje pro označování vyžadují čísla verzí k fungování
    • Aby se po použití mohl dokument s pokyny smazat
  6. Jakou roli podle průvodce hrají kalibrační sezení?
    • Nahradí potřebu jakéhokoli psaného dokumentu s pokyny
    • Umožňují anotátorům označit stejný vzorek a společně diskutovat o nesrovnalostech, čímž sladí hodnocení v nejednoznačných případech
    • Používají se pouze k testování rychlosti psaní anotátorů
    • Jsou formální právní požadavkem pro všechny projekty označování
  7. Jak průvodce popisuje vznikající vztah mezi pokyny k anotaci a LLM?
    • LLM zcela znepotřebovaly pokyny k anotaci
    • LLM nemohou používat žádnou formu psaného pokynu
    • Pokyny se začínají dvojitě používat jako výzvy pro modely provádějící první označování, s následnou kontrolou lidmi
    • Pokyny pro anotaci se nyní používají jen pro trénink LLM, nikdy pro lidi
  8. V příkladu pojmenovaných entit v průvodci, jak by měla být označena titulka jako „Dr.“ připojená ke jménu?
    • Jako samostatná kategorie titulů, odlišná od entity osoba
    • Měl by zůstat zcela neoznačený
    • Měl by být označen jako organizační entita
    • Jako součást osoby, ne samostatná kategorie titulů