Gids-gekoppelde quiz · Gemakkelijk Niveau

AI-inferentiequiz

Beoordeel gevolgtrekking versus training, tokengeneratie, latentie, end-to-end timing, doorvoerafwegingen, geheugen en veilige evaluatie.

Gerelateerde gidspadenAI-inferentie
Vraag 1 van 8

Wat is het verschil tussen training en gevolgtrekking?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is het verschil tussen training en gevolgtrekking?
    • Training past aangeleerde parameters aan; inferentie gebruikt een getraind model om invoer te verwerken
    • Het zijn twee namen voor dezelfde stap voor het bijwerken van parameters
    • Alleen training formatteert uitvoer; inferentie labelt de trainingsgegevens
    • Inferentie traint het model altijd opnieuw voordat het reageert
  2. Wat gebeurt er als een sms-service een antwoordtoken per token genereert?
    • Het volledige antwoord wordt geschreven voordat het verzoek arriveert
    • Het model wordt herhaaldelijk uitgevoerd met behulp van de context tot nu toe om meer tokens te genereren
    • De gewichten van het model worden na elk token noodzakelijkerwijs bijgewerkt
    • Een persoon moet elk token achter de interface typen
  3. Wat meet de latentie in een inferentieservice?
    • Hoeveel verzoeken worden in een bepaalde periode afgerond
    • Hoeveel parameters het model bevat
    • Hoe lang het duurt voordat een verzoek een reactie ontvangt
    • Hoe nauwkeurig de trainingslabels zijn
  4. In het door de gids opgebouwde sequentiële verzoek duurt de validatie 20 ms, het ophalen 180 ms, het genereren 900 ms en het formatteren 30 ms. Wat is het totaal?
    • 1,030 ms
    • 1,100 ms
    • 930 ms
    • 1,130 ms
  5. Waarom kan batching de doorvoer verbeteren, maar de wachttijd voor één aanvraag verlengen?
    • De service verwerkt verzoeken gezamenlijk, dus een individueel verzoek kan op de batch wachten
    • Met batching worden alle modelberekeningen verwijderd
    • Elke aanvraag wordt voltooid voordat deze in een batch terechtkomt
    • Doorvoer en latentie bewegen altijd in dezelfde richting
  6. Wat moet een budget voor serveergeheugen bevatten naast de modelgewichten?
    • Alleen de schijfruimte die door het modelbestand wordt gebruikt
    • Werkbuffers, gelijktijdige verzoeken en representaties in de cache
    • Alleen de tekst keerde terug naar de gebruiker
    • De trainingslabels, maar geen runtimestatus
  7. Wat moet een inferentie-implementatie bieden als het model geen antwoord kan geven of zijn limiet overschrijdt?
    • Een oneindige wachttijd voor meer tokens
    • Een stille storing zonder gebruikersindicatie
    • Een time-out en een bruikbare terugvalreactie
    • Een verzonnen antwoord om een fout te voorkomen
  8. Hoe moet een team de optimalisatie beoordelen na het wijzigen van de precisie, batching of voorverwerking?
    • Vergelijk alleen de snelheid via één korte prompt
    • Ga ervan uit dat minder bits altijd de kwaliteit behouden
    • Gebruik herhaaldelijk dezelfde testset om elke afstemmingskeuze te selecteren
    • Test de uitvoer opnieuw op een evaluatieset met versiebeheer en bevestig dat de vereiste kwaliteit behouden blijft