InayofuataMwongozo unaofuata
TensorRT na Injini za Kuelekeza
Kiufundi
MWONGOZO wa Kiufundi
Seldon Core na Grafu za Inference
Seldon Core ni jukwaa huria la kupeleka miundo ya mashine ya kujifunza kwenye Kubernetes, yenye kipengele kikuu: grafu za maelekezo.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Instead of serving one isolated model, it lets you chain models, routers, combiners, and transformers into a single directed graph that runs as one deployable service.
Dive ya kina
Kesi nyingi za matumizi ya uzalishaji halisi huhusisha zaidi ya simu ya kielelezo kimoja. Unaweza kuchakata ingizo, kuelekeza ombi kwa mojawapo ya miundo kadhaa, kuendesha mkusanyiko, na kisha kuchakata matokeo. Seldon Core anaonyesha hii kama grafu ya uelekezaji iliyofafanuliwa katika SeldonDeployment (au, katika usanifu wa v2, kupitia Seldon Core Operator na MLServer). Grafu imeundwa kutoka kwa aina za vijenzi vinavyoweza kutumika tena: Muundo hutoa utabiri, Transfoma hurekebisha ingizo au matokeo, Kipanga njia huamua ni mtoto gani apige simu (kuwezesha majaribio ya A/B na majambazi wenye silaha nyingi), na Mchanganyiko hujumlisha matokeo kutoka kwa miundo mingi ya kuunganishwa. Seldon inaauni mifumo mingi kupitia seva zilizofungashwa mapema na vifungashio maalum vya Python, na inafichua metriki tajiri, ufuatiliaji uliosambazwa, na utokaji wa mizigo nje ya kisanduku kwa uangalizi na kuelezeka.
Utekelezaji wa Ulimwengu Halisi
Mkopeshaji huweka Transfoma ambayo usimbaji wa moto-moja huangazia katika nodi ya mfano, kisha Transfoma ambayo inapanga alama, zote kama SeldonDeployment moja.
Kampuni ya vyombo vya habari hutumia nodi ya Njia inayoendesha jambazi mwenye silaha nyingi ili kutuma trafiki zaidi kwa muundo wowote wa pendekezo unapata zawadi kubwa zaidi ya kubofya.
Timu huunganisha miundo mitatu ya ulaghai kwa kutumia nodi ya Kiunganisha ambayo huweka wastani wa alama zao kabla ya kurudisha uamuzi mmoja kwa anayepiga.
Bima anayedhibitiwa huambatanisha ukataji wa malipo ya Seldon na maelezo ya Alibi kwenye grafu ya makisio ili kila ubashiri uweze kufuatiliwa na kuelezwa kwa ukaguzi.
Mustakabali wa Seldon Core na Grafu za Maelekezo
Seldon inaelekea kwenye MLOps za kawaida, zinazozingatia data na muundo wa bomba la Core v2 na mtiririko wa data, pamoja na uunganishaji mkali zaidi wa utambuzi wa drift (Tambua Alibi) na kueleweka (Alibi Eleza). Kadiri LLM na mifumo ya mawakala inavyokuwa grafu mchanganyiko za urejeshaji, miundo, na zana, ramani za uondoaji wa grafu ya inference kwa kawaida kwenye mtiririko huu wa kazi. Tarajia msisitizo zaidi juu ya ufanisi wa huduma za miundo mingi, utiririshaji, na uangalizi sanifu ili mifumo changamano ya hatua nyingi ya AI ibaki inayoweza kutatuliwa na kutawaliwa katika uzalishaji.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Seldon Core and Inference Graphs quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is Seldon Core and Inference Graphs?
Seldon Core ni jukwaa huria la kupeleka miundo ya mashine ya kujifunza kwenye Kubernetes, yenye kipengele kikuu: grafu za maelekezo. Badala ya kutumikia modeli moja iliyotengwa, inakuruhusu uunganishe miundo, vipanga njia, viunganishi na vibadilishaji umeme kwenye grafu moja iliyoelekezwa inayofanya kazi kama huduma moja inayoweza kutekelezwa.
Ni kipengele gani kinachofafanua kinachotofautisha Seldon Core kutoka kwa seva ya mfano mmoja?
Seldon Core hukuruhusu kutunga miundo, vipanga njia, viunganishi na vibadilishaji umeme kwenye grafu moja ya maelekezo iliyotumwa kama huduma moja.
Ni sehemu gani ya grafu ya Seldon inayoamua ni nodi gani ya mtoto kutuma ombi, kuwezesha majaribio ya A/B?
Kipanga njia huelekeza maombi kwa mmoja wa watoto wake na kinaweza kutekeleza majaribio ya A/B au majambazi wenye silaha nyingi.
Ni aina gani ya sehemu inayojumlisha matokeo kutoka kwa miundo mingi ya kukusanyika?
Combiner huunganisha majibu ya miundo mingi ya watoto katika matokeo moja, ambayo ni jinsi ensembles huundwa.
Je! ni aina gani ya muundo wa grafu ambayo grafu ya uelekezaji ya Seldon inaunda?
Grafu za uelekezaji za Seldon huelekezwa kwa grafu za acyclic ambapo kila nodi ni huduma ndogo iliyo na kiolesura cha kawaida cha kutabiri.
Katika Seldon Core v2, ni seva gani na itifaki gani huwezesha huduma za modeli nyingi kwenye grafu?
Core v2 hutenganisha grafu kutoka kwa seva za kielelezo kwa kutumia MLServer na Itifaki ya Uelekezaji Wazi kwa huduma za miundo mingi.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii