Maswali yanayounganishwa na mwongozo · Ngumu Kiwango

Maswali Iliyoratibiwa ya Sampuli na Mfiduo wa Upendeleo

Hukagua jinsi sampuli zilizoratibiwa hubadilisha muktadha wa kisimbuaji, kwa nini uwezekano wa tokeni ya dhahabu huharibika, na ubadilishanaji wa sampuli za sampuli.

Njia za mwongozo zinazohusianaSampuli Zilizoratibiwa na Upendeleo wa Mfichuo
Swali 1 ya 8

Upendeleo wa kufichua hutokea kwa sababu wanamitindo waliofunzwa na walimu wanalazimisha tu masharti:

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Upendeleo wa kufichua hutokea kwa sababu wanamitindo waliofunzwa na walimu wanalazimisha tu masharti:
    • Ishara za ukweli wa msingi, lakini lazima zitumie zao kwa makisio
    • Ishara zao wenyewe zilizotabiriwa
    • Ishara za kelele za nasibu
    • Ishara za siku zijazo
  2. Sampuli zilizopangwa hufanya nini wakati wa mafunzo?
    • Hulisha ishara ya kweli kila wakati
    • Nasibu huchagua kati ya ishara ya kweli na utabiri wa modeli mwenyewe
    • Huzima utendakazi wa upotezaji mara kwa mara
    • Huongeza kasi ya kujifunza kwa wakati
  3. Je, uwezekano wa kutumia ishara ya ukweli-msingi unabadilikaje juu ya mafunzo katika sampuli zilizopangwa?
    • Inakaa mara kwa mara
    • Huanza chini na kuongezeka
    • Huanza juu na kuoza kuelekea sifuri
    • Ni oscillates nasibu
  4. Nani alianzisha sampuli zilizoratibiwa, na takriban lini?
    • Vaswani et al., 2017
    • Hinton et al., 2006
    • LeCun et al., 1998
    • Bengio et al., 2015
  5. Upungufu wa kiufundi unaotambulika wa kulisha sampuli za ishara wakati wa mafunzo ni kwamba:
    • Hatua ya sampuli ya kipekee haiwezi kutofautishwa, gradient ngumu
    • Inafanya mafunzo kuwa ya kuamua kikamilifu
    • Haihitaji data ya uthibitishaji
    • Huondoa hitaji la upachikaji
  6. Je, ni umbo lipi la ratiba ambalo hutajwa kwa kawaida kwa kuoza uwezekano wa kulazimisha walimu?
    • Mara kwa mara
    • Uozo wa kinyume-sigmoid
    • Kuongezeka kwa mstari wa hatua ya juu
    • Kutembea bila mpangilio
  7. At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
    • The next ground-truth token every time
    • A token from a separate validation sequence
    • A token sampled from the model’s predicted distribution
    • The average of all vocabulary embeddings
  8. Why does scheduled sampling usually begin with a high probability of using ground truth?
    • It guarantees unbiased gradients
    • It removes the need for a training schedule
    • It makes inference use ground-truth tokens
    • Early predictions are poor, so a correct prefix can stabilize initial learning