Gids-gekoppelde quiz · Moeilijk Niveau
Beïnvloedingsfuncties voor de quiz over attributie van trainingsgegevens
Controleert counterfactuals van invloedsfuncties, Hessische benaderingen, de betekenis van invloedstekens en gegevensattributie in taalmodellen.
Vraag 1 van 8
Welke contrafeitelijke vraag benaderen invloedsfuncties?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Welke contrafeitelijke vraag benaderen invloedsfuncties?
- Hoe het verlies op een testpunt zou veranderen als een trainingsvoorbeeld zou worden verwijderd of verhoogd
- Hoe nauwkeurig het model gemiddeld is
- Hoe snel het model traint
- Hoeveel parameters het model heeft
- Welk wiskundig object maakt het berekenen van exacte invloeden lastig voor grote modellen?
- De softmax-functie
- De omgekeerde Hessiaan van het verlies
- Het leersnelheidschema
- De batchgrootte
- Wie heeft in een bekend artikel uit 2017 invloedsfuncties aangepast aan modern deep learning?
- Goodfellow en Bengio
- Vaswani et al.
- Koh en Liang
- Hinton en LeCun
- Wat betekent een negatieve waarde volgens de standaard I_up,loss-conventie van Koh en Liang?
- Het punt stond niet in de trainingsgegevens
- Er wordt geschat dat het verhogen van het punt het testverlies zal vergroten
- Het punt heeft geen relatie met het testvoorbeeld
- Er wordt geschat dat het verhogen van het punt het testverlies vermindert, dus het is nuttig
- Welke benadering heeft Anthropic gebruikt om invloedsfuncties te schalen naar grote taalmodellen?
- EK-FAC (Kronecker-factored kromming)
- Uitval
- Straal zoeken
- Mengsel
- Wat heeft het grootschalige onderzoek van Anthropic opgeleverd over invloedrijke voorbeelden?
- Het zijn altijd exacte kopieën van de uitvoer
- Ze delen vaak abstracte patronen in plaats van identieke bewoordingen
- Ze worden willekeurig verdeeld
- Alleen het eerste trainingsvoorbeeld is van belang
- Wat verbindt bij de invloedsfunctie-benadering een trainingsvoorbeeldgradiënt met het effect op een testverlies?
- Het aantal tokens van de testset
- Een willekeurig bos boven trainingslabels
- De omgekeerde Hessiaan van het trainingsverlies
- De grootte van de uitvoervocabulaire van het model
- Als het verwijderen van één trainingsvoorbeeld naar schatting het verlies van een testpunt vergroot, wat zegt dat dan over het voorbeeld?
- Het was gegarandeerd een duplicaat
- Het had geen relatie met het model
- Het zorgde er noodzakelijkerwijs voor dat het model overfit werd
- Het had een nuttige invloed op dat testpunt onder de benadering