KI-Inferenz

Eine Anfrage durchläuft normalerweise die Eingabevalidierung, die Vorverarbeitung, das Modell und die Ausgabeverarbeitung. Ein Textdienst kann eine Eingabeaufforderung mit einem Token versehen, das Modell wiederholt ausführen, um Token zu generieren, und die Antwort zusammenstellen. Abruf- und externe Tools können dem Modell weitere Stufen hinzufügen. Ihre Zeit und Fehler zählen zur Benutzererfahrung. Messen Sie Latenz und Durchsatz separat. Die Latenz gibt an, wie lange eine Anfrage dauert. Der Durchsatz gibt an, wie viele Anfragen das System in einem bestimmten Zeitraum abschließt. Das Stapeln von Anfragen kann den Durchsatz verbessern und gleichzeitig die Wartezeit für eine einzelne Anfrage verlängern. Durch Streaming kann eine Antwort schneller beginnen, ohne dass sich die für die Fertigstellung erforderliche Zeit verkürzt. Der Hardwarespeicher muss mehr als die Modellgewichte aufnehmen. Arbeitspuffer, gleichzeitige Anforderungen und zwischengespeicherte Darstellungen verbrauchen ebenfalls Speicher. Längere Ein- und Ausgaben können die Bereitstellungskosten verändern. Testen Sie daher die tatsächliche Arbeitslastverteilung und nicht eine kurze Demonstrationsaufforderung. Eine Inferenzbereitstellung erfordert Grenzwerte, Zeitüberschreitungen und eine verwendbare Antwort, wenn das Modell nicht antworten kann. Behalten Sie einen versionierten Auswertungssatz bei und vergleichen Sie die Ausgaben, nachdem Sie Präzision, Stapelverarbeitung, Modellversionen oder Vorverarbeitung geändert haben. Eine Optimierung ist nur dann sinnvoll, wenn sie die von der Aufgabe geforderte Qualität erhält.