Seldon mojuto ati Inference Awọn aworan
Seldon Core jẹ ipilẹ orisun-ìmọ fun gbigbe awọn awoṣe ikẹkọ ẹrọ lori Kubernetes, pẹlu ẹya iduro: awọn aworan atọka.
Akopọ
Dipo ki o sin awoṣe ti o ya sọtọ kan, o jẹ ki o pq awọn awoṣe, awọn olulana, awọn apapọ, ati awọn oluyipada sinu aworan itọsọna kan ti o ṣiṣẹ bi iṣẹ ti a le firanṣẹ.
Jin Dive
Ọpọlọpọ awọn ọran lilo iṣelọpọ gidi kan diẹ sii ju ipe awoṣe kan lọ. O le ṣaju iṣagbewọle, ṣe itọsọna ibeere kan si ọkan ninu awọn awoṣe pupọ, ṣiṣe akojọpọ kan, lẹhinna ṣe ilana abajade naa. Seldon Core ṣalaye eyi gẹgẹbi aworan atọka ti asọye ninu SeldonDeployment (tabi, ninu faaji v2, nipasẹ Seldon Core Operator ati MLServer). A ṣe apẹrẹ aworan naa lati awọn iru paati ti o tun tun lo: Awoṣe n ṣe awọn asọtẹlẹ, Ayipada kan ṣe atunṣe awọn igbewọle tabi awọn ọnajade, Olulana kan pinnu iru ọmọ ti o le pe (ṣe mu awọn idanwo A/B ṣiṣẹ ati awọn onijagidijagan olona-ologun), ati Combiner kan ṣajọpọ awọn abajade lati awọn awoṣe pupọ fun apejọpọ. Seldon ṣe atilẹyin ọpọlọpọ awọn ilana nipasẹ awọn olupin ti a ti ṣajọ ati aṣa Python wrappers, ati pe o ṣafihan awọn metiriki ọlọrọ, wiwa kaakiri, ati gbigbe owo sisan jade kuro ninu apoti fun akiyesi ati alaye.
Imọ-imọ-ẹrọ
Aya atọka jẹ ayaworan acyclic ti a darí nibiti ipade kọọkan jẹ microservice kan pẹlu wiwo asọtẹlẹ boṣewa, ati Orchestrator Seldon (orchestrator/executor) awọn ọna ibeere kan nipasẹ iyaya ati dapọ awọn idahun. Nitori awọn olutọpa le ṣe imuse ọgbọn bandit olona-ologun, ijabọ le yipada ni adaṣe si awọn awoṣe ṣiṣe to dara julọ ti o da lori awọn ifihan agbara ere laaye. Seldon Core v2 decouples awọn awonya lati olukuluku awoṣe olupin lilo MLServer ati awọn Open Inference Protocol, muu olona-awoṣe sìn ati ki o bori lori pín hardware.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ọjọ iwaju ti Seldon Core ati Awọn aworan Itọkasi
Seldon n gbe lọ si iwọn apọjuwọn, MLOps-centric data pẹlu opo gigun ti epo v2 ati apẹrẹ ṣiṣan data, pẹlu isọpọ pọpọ pẹlu iṣawari fiseete (Awari Alibi) ati alaye (Alibi Ṣe alaye). Bii awọn LLM ati awọn eto aṣoju di awọn aworan apipọ ti imupadabọ, awọn awoṣe, ati awọn irinṣẹ, awọn maapu abstraction inference nipa ti ara si awọn ṣiṣan iṣẹ wọnyi. Reti tcnu diẹ sii lori iṣẹ ṣiṣe ọpọlọpọ-awoṣe ṣiṣe, ṣiṣanwọle, ati akiyesi iwọnwọn ki eka, awọn ọna ṣiṣe AI ti ọpọlọpọ-igbesẹ jẹ ṣiṣatunṣe ati iṣakoso ni iṣelọpọ.
Real-World imuse
Oluyalowo ṣe ẹwọn Amunawa ti ọkan-gbona ṣe koodu awọn ẹya sinu oju ipade awoṣe, lẹhinna Amunawa ti o ṣe ọna kika Dimegilio, gbogbo rẹ bi SeldonDeployment kan.
Ile-iṣẹ media kan nlo oju-ọna olulana kan ti n ṣiṣẹ bandit ti o ni ihamọra pupọ lati fi agbara ranṣẹ ni agbara diẹ sii si eyikeyi awoṣe iṣeduro ti n gba ẹsan tẹ ti o ga julọ.
Ẹgbẹ kan ṣe akojọpọ awọn awoṣe arekereke mẹta pẹlu ipade Apapo kan ti o ṣe aropin awọn ikun wọn ṣaaju ki o to pada ipinnu ẹyọkan si olupe naa.
Oludaniloju ti a ṣe ilana ṣe ifimọ iwọle isanwo isanwo ti Seldon ati awọn alaye Alibi si aworan itọkasi ki gbogbo asọtẹlẹ le ṣe itopase ati ṣalaye fun awọn iṣayẹwo.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Seldon Core and Inference Graphs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
TensorRT ati Inference Engines
Awọn ibeere ti a beere nigbagbogbo
Kini Seldon Core ati Inference Graphs?
Seldon Core jẹ ipilẹ orisun-ìmọ fun gbigbe awọn awoṣe ikẹkọ ẹrọ lori Kubernetes, pẹlu ẹya iduro: awọn aworan atọka. Dipo ki o sin awoṣe ti o ya sọtọ, o jẹ ki o jẹ ki awọn awoṣe ẹwọn, awọn olulana, awọn alapapọ, ati awọn ayirapada sinu aworan ti o ni itọsọna kan ti o nṣiṣẹ bi iṣẹ imuṣiṣẹ kan.
Kini ẹya asọye ti o ṣe iyatọ Seldon Core lati olupin awoṣe kan?
Seldon Core jẹ ki o ṣajọ awọn awoṣe, awọn onimọ-ọna, awọn alapapọ, ati awọn ayirapada sinu aworan atọka ọkan ti a fi ranṣẹ bi iṣẹ kan.
Ewo ni paati aworan Seldon pinnu iru ipade ọmọ lati fi ibeere ranṣẹ si, mu awọn idanwo A/B ṣiṣẹ?
Olulana n ṣe itọsọna awọn ibeere si ọkan ninu awọn ọmọ rẹ ati pe o le ṣe awọn idanwo A/B tabi awọn onijagidijagan olona-pupa.
Iru paati wo ni o ṣajọpọ awọn abajade lati awọn awoṣe pupọ fun apejọpọ?
A Combiner dapọ awọn idahun ti ọpọ omo awọn awoṣe sinu kan nikan o wu, eyi ti o jẹ bi ensembles ti wa ni itumọ ti.
Iru eto ayaworan wo ni fọọmu iyaworan atọka Seldon?
Awọn aworan atọka Seldon jẹ itọsọna awọn aworan acyclic nibiti ipade kọọkan jẹ iṣẹ microservice pẹlu wiwo asọtẹlẹ boṣewa kan.
Ni Seldon Core v2, olupin ati ilana wo ni o jẹ ki iṣẹ-iṣẹ ọpọlọpọ-awoṣe kọja awọn aworan naa?
Mojuto v2 decouples awọn iwọn lati awọn olupin awoṣe lilo MLServer ati awọn Open Inference Protocol fun olona-awoṣe sìn.