Gids-gekoppelde quiz · Moeilijk Niveau

Beïnvloedingsfuncties voor de quiz over attributie van trainingsgegevens

Controleert counterfactuals van invloedsfuncties, Hessische benaderingen, de betekenis van invloedstekens en gegevensattributie in taalmodellen.

Vraag 1 van 8

Welke contrafeitelijke vraag benaderen invloedsfuncties?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welke contrafeitelijke vraag benaderen invloedsfuncties?
    • Hoe het verlies op een testpunt zou veranderen als een trainingsvoorbeeld zou worden verwijderd of verhoogd
    • Hoe nauwkeurig het model gemiddeld is
    • Hoe snel het model traint
    • Hoeveel parameters het model heeft
  2. Welk wiskundig object maakt het berekenen van exacte invloeden lastig voor grote modellen?
    • De softmax-functie
    • De omgekeerde Hessiaan van het verlies
    • Het leersnelheidschema
    • De batchgrootte
  3. Wie heeft in een bekend artikel uit 2017 invloedsfuncties aangepast aan modern deep learning?
    • Goodfellow en Bengio
    • Vaswani et al.
    • Koh en Liang
    • Hinton en LeCun
  4. Wat betekent een negatieve waarde volgens de standaard I_up,loss-conventie van Koh en Liang?
    • Het punt stond niet in de trainingsgegevens
    • Er wordt geschat dat het verhogen van het punt het testverlies zal vergroten
    • Het punt heeft geen relatie met het testvoorbeeld
    • Er wordt geschat dat het verhogen van het punt het testverlies vermindert, dus het is nuttig
  5. Welke benadering heeft Anthropic gebruikt om invloedsfuncties te schalen naar grote taalmodellen?
    • EK-FAC (Kronecker-factored kromming)
    • Uitval
    • Straal zoeken
    • Mengsel
  6. Wat heeft het grootschalige onderzoek van Anthropic opgeleverd over invloedrijke voorbeelden?
    • Het zijn altijd exacte kopieën van de uitvoer
    • Ze delen vaak abstracte patronen in plaats van identieke bewoordingen
    • Ze worden willekeurig verdeeld
    • Alleen het eerste trainingsvoorbeeld is van belang
  7. Wat verbindt bij de invloedsfunctie-benadering een trainingsvoorbeeldgradiënt met het effect op een testverlies?
    • Het aantal tokens van de testset
    • Een willekeurig bos boven trainingslabels
    • De omgekeerde Hessiaan van het trainingsverlies
    • De grootte van de uitvoervocabulaire van het model
  8. Als het verwijderen van één trainingsvoorbeeld naar schatting het verlies van een testpunt vergroot, wat zegt dat dan over het voorbeeld?
    • Het was gegarandeerd een duplicaat
    • Het had geen relatie met het model
    • Het zorgde er noodzakelijkerwijs voor dat het model overfit werd
    • Het had een nuttige invloed op dat testpunt onder de benadering