Up tókànItọsọna atẹle
TensorRT ati Inference Engines
Imọ-ẹrọ
Imọ Itọsọna
Seldon mojuto ati Inference Awọn aworan
Seldon Core jẹ ipilẹ orisun-ìmọ fun gbigbe awọn awoṣe ikẹkọ ẹrọ lori Kubernetes, pẹlu ẹya iduro: awọn aworan atọka.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
Dipo ki o sin awoṣe ti o ya sọtọ kan, o jẹ ki o pq awọn awoṣe, awọn olulana, awọn apapọ, ati awọn oluyipada sinu aworan itọsọna kan ti o ṣiṣẹ bi iṣẹ ti a le firanṣẹ.
Jin Dive
Ọpọlọpọ awọn ọran lilo iṣelọpọ gidi kan diẹ sii ju ipe awoṣe kan lọ. O le ṣaju iṣagbewọle, ṣe itọsọna ibeere kan si ọkan ninu awọn awoṣe pupọ, ṣiṣe akojọpọ kan, lẹhinna ṣe ilana abajade naa. Seldon Core ṣalaye eyi gẹgẹbi aworan atọka ti asọye ninu SeldonDeployment (tabi, ninu faaji v2, nipasẹ Seldon Core Operator ati MLServer). A ṣe apẹrẹ aworan naa lati awọn iru paati ti o tun tun lo: Awoṣe n ṣe awọn asọtẹlẹ, Ayipada kan ṣe atunṣe awọn igbewọle tabi awọn ọnajade, Olulana kan pinnu iru ọmọ ti o le pe (ṣe mu awọn idanwo A/B ṣiṣẹ ati awọn onijagidijagan olona-ologun), ati Combiner kan ṣajọpọ awọn abajade lati awọn awoṣe pupọ fun apejọpọ. Seldon ṣe atilẹyin ọpọlọpọ awọn ilana nipasẹ awọn olupin ti a ti ṣajọ ati aṣa Python wrappers, ati pe o ṣafihan awọn metiriki ọlọrọ, wiwa kaakiri, ati gbigbe owo sisan jade kuro ninu apoti fun akiyesi ati alaye.
Real-World imuse
Oluyalowo ṣe ẹwọn Amunawa ti ọkan-gbona ṣe koodu awọn ẹya sinu oju ipade awoṣe, lẹhinna Amunawa ti o ṣe ọna kika Dimegilio, gbogbo rẹ bi SeldonDeployment kan.
Ile-iṣẹ media kan nlo oju-ọna olulana kan ti n ṣiṣẹ bandit ti o ni ihamọra pupọ lati fi agbara ranṣẹ ni agbara diẹ sii si eyikeyi awoṣe iṣeduro ti n gba ẹsan tẹ ti o ga julọ.
Ẹgbẹ kan ṣe akojọpọ awọn awoṣe arekereke mẹta pẹlu ipade Apapo kan ti o ṣe aropin awọn ikun wọn ṣaaju ki o to pada ipinnu ẹyọkan si olupe naa.
Oludaniloju ti a ṣe ilana ṣe ifimọ iwọle isanwo isanwo ti Seldon ati awọn alaye Alibi si aworan itọkasi ki gbogbo asọtẹlẹ le ṣe itopase ati ṣalaye fun awọn iṣayẹwo.
Ọjọ iwaju ti Seldon Core ati Awọn aworan Itọkasi
Seldon n gbe lọ si iwọn apọjuwọn, MLOps-centric data pẹlu opo gigun ti epo v2 ati apẹrẹ ṣiṣan data, pẹlu isọpọ pọpọ pẹlu iṣawari fiseete (Awari Alibi) ati alaye (Alibi Ṣe alaye). Bii awọn LLM ati awọn eto aṣoju di awọn aworan apipọ ti imupadabọ, awọn awoṣe, ati awọn irinṣẹ, awọn maapu abstraction inference nipa ti ara si awọn ṣiṣan iṣẹ wọnyi. Reti tcnu diẹ sii lori iṣẹ ṣiṣe ọpọlọpọ-awoṣe ṣiṣe, ṣiṣanwọle, ati akiyesi iwọnwọn ki eka, awọn ọna ṣiṣe AI ti ọpọlọpọ-igbesẹ jẹ ṣiṣatunṣe ati iṣakoso ni iṣelọpọ.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the Seldon Core and Inference Graphs quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
Kini Seldon Core ati Inference Graphs?
Seldon Core jẹ ipilẹ orisun-ìmọ fun gbigbe awọn awoṣe ikẹkọ ẹrọ lori Kubernetes, pẹlu ẹya iduro: awọn aworan atọka. Dipo ki o sin awoṣe ti o ya sọtọ, o jẹ ki o jẹ ki awọn awoṣe ẹwọn, awọn olulana, awọn alapapọ, ati awọn ayirapada sinu aworan ti o ni itọsọna kan ti o nṣiṣẹ bi iṣẹ imuṣiṣẹ kan.
Kini ẹya asọye ti o ṣe iyatọ Seldon Core lati olupin awoṣe kan?
Seldon Core jẹ ki o ṣajọ awọn awoṣe, awọn onimọ-ọna, awọn alapapọ, ati awọn ayirapada sinu aworan atọka ọkan ti a fi ranṣẹ bi iṣẹ kan.
Ewo ni paati aworan Seldon pinnu iru ipade ọmọ lati fi ibeere ranṣẹ si, mu awọn idanwo A/B ṣiṣẹ?
Olulana n ṣe itọsọna awọn ibeere si ọkan ninu awọn ọmọ rẹ ati pe o le ṣe awọn idanwo A/B tabi awọn onijagidijagan olona-pupa.
Iru paati wo ni o ṣajọpọ awọn abajade lati awọn awoṣe pupọ fun apejọpọ?
A Combiner dapọ awọn idahun ti ọpọ omo awọn awoṣe sinu kan nikan o wu, eyi ti o jẹ bi ensembles ti wa ni itumọ ti.
Iru eto ayaworan wo ni fọọmu iyaworan atọka Seldon?
Awọn aworan atọka Seldon jẹ itọsọna awọn aworan acyclic nibiti ipade kọọkan jẹ iṣẹ microservice pẹlu wiwo asọtẹlẹ boṣewa kan.
Ni Seldon Core v2, olupin ati ilana wo ni o jẹ ki iṣẹ-iṣẹ ọpọlọpọ-awoṣe kọja awọn aworan naa?
Mojuto v2 decouples awọn iwọn lati awọn olupin awoṣe lilo MLServer ati awọn Open Inference Protocol fun olona-awoṣe sìn.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii