Als nächstesNächster Leitfaden
TensorRT und Inferenz-Engines
Technisch
Technischer Leitfaden
Seldon Core ist eine Open-Source-Plattform für die Bereitstellung von Modellen für maschinelles Lernen auf Kubernetes mit einer herausragenden Funktion: Inferenzdiagrammen.
Hören Sie sich diesen Leitfaden anKI-erzählt · ~2 min
Anstatt ein isoliertes Modell bereitzustellen, können Sie Modelle, Router, Combiner und Transformer in einem einzigen gerichteten Diagramm verketten, das als ein einziger bereitstellbarer Dienst ausgeführt wird.
Viele reale Anwendungsfälle in der Produktion umfassen mehr als einen einzelnen Modellaufruf. Sie könnten Eingaben vorverarbeiten, eine Anfrage an eines von mehreren Modellen weiterleiten, ein Ensemble ausführen und dann das Ergebnis nachbearbeiten. Seldon Core drückt dies als Inferenzdiagramm aus, das in einem SeldonDeployment (oder in der v2-Architektur über den Seldon Core Operator und MLServer) definiert ist. Das Diagramm besteht aus wiederverwendbaren Komponententypen: Ein Modell liefert Vorhersagen, ein Transformer modifiziert Ein- oder Ausgaben, ein Router entscheidet, welches Kind aufgerufen werden soll (ermöglicht A/B-Tests und mehrarmige Banditen) und ein Combiner aggregiert Ausgaben mehrerer Modelle zur Gruppierung. Seldon unterstützt viele Frameworks durch vorgefertigte Server und benutzerdefinierte Python-Wrapper und stellt umfangreiche Metriken, verteilte Ablaufverfolgung und Nutzlastprotokollierung sofort zur Verfügung, um die Beobachtung und Erklärbarkeit zu gewährleisten.
Ein Kreditgeber verkettet einen Transformer, der Features One-Hot-codiert, in einen Modellknoten, dann einen Transformer, der den Score formatiert, alles als eine SeldonDeployment.
Ein Medienunternehmen nutzt einen Router-Knoten, auf dem ein mehrarmiger Bandit läuft, um dynamisch mehr Datenverkehr an das Empfehlungsmodell zu senden, das eine höhere Klickprämie erhält.
Ein Team kombiniert drei Betrugsmodelle mit einem Combiner-Knoten, der ihre Ergebnisse mittelt, bevor eine einzelne Entscheidung an den Anrufer zurückgegeben wird.
Ein regulierter Versicherer fügt Seldons Nutzlastprotokollierung und Alibi-Erklärungen einem Inferenzdiagramm hinzu, damit jede Vorhersage für Audits nachverfolgt und erklärt werden kann.
Seldon bewegt sich in Richtung modularer, datenzentrierter MLOps mit dem Pipeline- und Datenflussdesign von Core v2 sowie einer engeren Kopplung mit Drifterkennung (Alibi Detect) und Erklärbarkeit (Alibi Explain). Da LLMs und Agentensysteme zu zusammengesetzten Abruf-, Modell- und Werkzeuggraphen werden, wird die Abstraktion des Inferenzgraphen auf natürliche Weise auf diese Arbeitsabläufe abgebildet. Erwarten Sie mehr Gewicht auf Multi-Model-Serving-Effizienz, Streaming und standardisierte Beobachtbarkeit, damit komplexe, mehrstufige KI-Systeme in der Produktion debuggbar und steuerbar bleiben.
Kostenloser Newsletter
Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.
Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.
Testen Sie sich selbst
Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.
Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende
Seldon Core ist eine Open-Source-Plattform für die Bereitstellung von Modellen für maschinelles Lernen auf Kubernetes mit einer herausragenden Funktion: Inferenzdiagrammen. Anstatt ein isoliertes Modell bereitzustellen, können Sie Modelle, Router, Combiner und Transformer in einem einzigen gerichteten Diagramm verketten, das als ein einziger bereitstellbarer Dienst ausgeführt wird.
Mit Seldon Core können Sie Modelle, Router, Combiner und Transformatoren in einem einzigen Inferenzdiagramm zusammenfassen, das als ein Dienst bereitgestellt wird.
Ein Router leitet Anfragen an eines seiner Kinder weiter und kann A/B-Tests oder mehrarmige Banditen implementieren.
Ein Combiner führt die Antworten mehrerer untergeordneter Modelle zu einer einzigen Ausgabe zusammen. Auf diese Weise werden Ensembles erstellt.
Seldon-Inferenzgraphen sind gerichtete azyklische Graphen, bei denen jeder Knoten ein Mikrodienst mit einer Standardvorhersageschnittstelle ist.
Core v2 entkoppelt den Graphen von Modellservern mithilfe von MLServer und dem Open Inference Protocol für die Bereitstellung mehrerer Modelle.
Lerne weiter
Weitere Leitfäden zu diesem Thema ausgewählt
Als nächstesNächster Leitfaden
TensorRT und Inferenz-Engines
Technisch