Test legat de ghid · Greu Nivel

Testul de eșantionare programată și de prejudecată de expunere

Verifică modul în care eșantionarea programată modifică contextul decodorului, de ce scade probabilitatea lui de simbol de aur și compromisurile în gradient ale eșantionării.

Căi de ghidare aferenteEșantionarea programată și părtinirea expunerii
Întrebare 1 de 8

Prejudecățile de expunere apare deoarece modelele instruite cu forțarea profesorului doar condiționează:

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Prejudecățile de expunere apare deoarece modelele instruite cu forțarea profesorului doar condiționează:
    • Jetoane de adevăr de bază, dar trebuie să le folosească pe ale lor la inferență
    • Proprii lor jetoane prezise
    • Jetoane de zgomot aleatorii
    • Jetoane viitoare
  2. Ce face eșantionarea programată în timpul antrenamentului?
    • Hrănește întotdeauna semnul adevărat
    • Alege aleatoriu între simbolul adevărat și predicția propriului model
    • Dezactivează periodic funcția de pierdere
    • Dublează rata de învățare în timp
  3. Cum se schimbă probabilitatea de a utiliza simbolul adevăr-teren față de antrenamentul în eșantionarea programată?
    • Ea rămâne constantă
    • Începe scăzut și crește
    • Începe sus și scade spre zero
    • Oscilează aleatoriu
  4. Cine a introdus eșantionarea programată și, aproximativ, când?
    • Vaswani și colab., 2017
    • Hinton și colab., 2006
    • LeCun şi colab., 1998
    • Bengio și colab., 2015
  5. Un dezavantaj tehnic recunoscut al realimentării jetoanelor eșantionate în timpul antrenamentului este că:
    • Etapa de eșantionare discretă este nediferențiabilă, complicând gradienții
    • Face antrenamentul complet determinist
    • Nu necesită date de validare
    • Elimină necesitatea înglobărilor
  6. Ce formă de orar este citată în mod obișnuit pentru diminuarea probabilității de forțare a profesorului?
    • Constant
    • Caria sigmoidă inversă
    • Creștere liniară sporită
    • Plimbare aleatorie
  7. At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
    • The next ground-truth token every time
    • A token from a separate validation sequence
    • A token sampled from the model’s predicted distribution
    • The average of all vocabulary embeddings
  8. Why does scheduled sampling usually begin with a high probability of using ground truth?
    • It guarantees unbiased gradients
    • It removes the need for a training schedule
    • It makes inference use ground-truth tokens
    • Early predictions are poor, so a correct prefix can stabilize initial learning