quiz bu lëkkale ak tegtal · Diggante Niveau

Laaj ak tontu ci wàllu kontaminasioŋ

Dafay saytu ni mbir yu benchmark di jaar ci done yi ñuy tàggat, pexe yi ñuy gis lu melni n-gram overlap ak Min-K% Prob, ak wàññi yu melni kanaari ak xaaj waxtu.

Yooni njiit yu jëm ciKontaminasioŋ Referansi
Laaj 1 de 8

Luy kontaminasioŋ référence?

Xoolaatal laaj bu nekk8 laaj

Sooy def quiz bi, tontu yi ak leeral yi dañuy feeñ.

  1. Luy kontaminasioŋ référence?
    • Sudee ab référence amna caabi tontu yu jaarul yoon
    • Suñu natt benn model ci laaj yu néew lool
    • Sudee mbir yi ñuy jëfandikoo ngir saytu wala seeni tontu feeñ ci done yiñ tàggat ci model bi
    • Sudee ñaari référence ñooy natt benn mën mën
  2. Lan mooy njariñu string canary biñ boole ci liggéey BIG-bench?
    • May ekipu done yi ñu segg këyit yooyu ci done yiñ tàggat ngir saytu ndax ab model gis na leen
    • Ngir encrypter tontu yi
    • ngir màndargaal ban liggéey moo gëna tar
    • Ngir ràññee ban model moo defar tontu bu nekk
  3. Lu gëstu GSM1k bi digle?
    • Modèle yépp ñoo gëna am poñ ci jafe-jafe yu bees yi
    • GSM8K amul benn njuumte
    • Mënu natt kontaminasioŋ te amul ay done yuñ tàggat
    • Yenn model yi ñoo gëna néew poñ ci jafe-jafe yu bees te méngoo ak GSM8K
  4. Lan mooy jàngat biy jaxasoo ci këyit GPT-3 bi?
    • Dugalug nuru ci këyitu lëmm
    • 13-gram di jaxasoo ci digganté référence ak done tàggat
    • Xoolaat nit ci bépp këyitu tàggat yaram
    • Min-K% Prob ci bépp référence
  5. Lan mooy xalaatu Min-K% Prob?
    • Dindi k pursaa ci baat yi gëna néew luñu koy gis ci done yiñ tàggat
    • Taggat ñaareelu xeetu xaaj mbind mu tilim
    • Text bi model bi gis bariwul ay token yu am probabilite yu néew lool
    • Natt guddaayi tontu model bi
  6. Nan la xaaj bu sukkandiko ci waxtu, ni ci LiveCodeBench, di jàppale ngir gis kontaminasioŋ?
    • Dafay méngale liggéey bi ci jafe-jafe yiñ siiwal laataa ak ginaaw bi ñu daggee tàggat yaram ci model bi
    • Dafay natt diir bi model bi di jël ngir tontu
    • Dafay xaaj model bi ay layer yu yàgg ak yu bees
    • Dafay lim ludul jafe-jafe yiñ tontu ci diir bu gàtt
  7. Lan moo waral amul benn overlap bu dëggu te loolu du firndeel ni benchmark bi set na?
    • méngoo bu dëggu bi yeexna lool
    • Benchmark yi dañuy soppi seen tontu ci diir bi
    • Model yi duñu musa xam mbind mu leer
    • Kopi yuñ parafrase wala yuñ tekki mën nañu romb buum gi méngoo
  8. Ci dekontaminasioŋ n-gram, lan mooy xew sudee n dafa tuuti lool?
    • Near-copies ak ay coppite yu ndaw
    • Barina njuumte yu baax yu bawoo ci mbind yuñ gëna xam
    • Filtre bi dafay bàyyi liggéey
    • Tontu yi kese lañu méngoo, du laaj yi