VolgendeVolgende in AI Foundations
Neurale netwerken
Grondbeginselen
Basisprincipes GIDS
Inferentie gebruikt een getraind model om een uitvoer te produceren uit een nieuwe invoer.
Luister naar deze gidsAI-verteld · ~2 min
Een classificator kan een categoriescore retourneren; een taalmodel kan tokens genereren. Inferentie laat de modelparameters meestal ongewijzigd, hoewel een omringend systeem afzonderlijk informatie kan opslaan of van feedback kan leren.
Een verzoek passeert doorgaans invoervalidatie, voorverwerking, het model en uitvoerverwerking. Een tekstservice kan een prompt tokeniseren, het model herhaaldelijk uitvoeren om tokens te genereren en het antwoord samenstellen. Ophaal- en externe tools kunnen meer fasen rond het model toevoegen. Hun tijd en fouten tellen mee voor de gebruikerservaring. Meet latentie en doorvoer afzonderlijk. Latentie is hoe lang één verzoek duurt; doorvoer is het aantal verzoeken dat het systeem in een bepaalde periode afrondt. Batchaanvragen kunnen de doorvoer verbeteren en tegelijkertijd de wachttijd voor een afzonderlijk verzoek verlengen. Streaming kan ervoor zorgen dat een antwoord eerder begint, zonder dat de tijd die nodig is om het af te ronden wordt verkort. Het hardwaregeheugen moet meer ruimte bieden dan het modelgewicht. Werkbuffers, gelijktijdige verzoeken en representaties in de cache verbruiken ook geheugen. Langere inputs en outputs kunnen de servicekosten veranderen, dus test de werkelijke werklastverdeling in plaats van één korte demonstratieprompt. Een gevolgtrekkingsimplementatie heeft limieten, time-outs en een bruikbaar antwoord nodig wanneer het model niet kan antwoorden. Houd een evaluatieset met versiebeheer bij en vergelijk de uitvoer na het wijzigen van de precisie, batching, modelversies of voorverwerking. Een optimalisatie heeft alleen zin als de kwaliteit die nodig is voor de taak behouden blijft.
04Uitgewerkt voorbeeld
Bij een samengesteld verzoek duurt de validatie 20 ms, het ophalen van documenten 180 ms, het genereren van modellen 900 ms en het formatteren 30 ms.
Als deze fasen opeenvolgend worden uitgevoerd, bedraagt het totaal 1.130 ms. Door de formatteringstijd te halveren, wordt slechts 15 ms bespaard.
Als u het ophalen terugbrengt tot 100 ms, bespaart u 80 ms. Meet opnieuw onder gelijktijdige belasting, omdat wachtrijen het resultaat kunnen veranderen.
Wat het laat zien
Deze verzonnen timings illustreren waarom het optimaliseren van een klein podium de ervaring nauwelijks kan veranderen.
Classificeer een binnenkomend bericht zonder de classificatie opnieuw te trainen.
Stream een conceptantwoord met behoud van een duidelijke annuleringscontrole.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Inferentie beschrijft het uitvoeren van een model. Een taak kan redeneren, classificeren of genereren inhouden; het uitvoeringslabel bevestigt de redeneerkwaliteit niet.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende in AI Foundations
Neurale netwerken
Grondbeginselen