Dubawa
Ƙididdigar ƙididdiga ta sa manyan nau'ikan harshe su samar da rubutu cikin sauri ta amfani da ƙarami, samfurin 'daftarin aiki' mai sauri don kimanta alamu da yawa a gaba, sannan samun babban samfurin ya tabbatar da su gaba ɗaya. Yana haɓaka ƙima 2-3x tare da ingancin fitarwa iri ɗaya.
Ƙididdigar Haskakawa wani shingen ginin fasaha ne wanda ke shafar ingancin ƙira, farashin kayayyakin more rayuwa, jinkiri, da aminci a sikeli.
Zurfafa nutsewa
A al'ada LLM yana haifar da rubutu alama ɗaya a lokaci guda: kowane alamar yana buƙatar cikakken wucewa ta ƙaton ƙirar, kuma ba za ku iya fara na gaba ba har sai na yanzu ya ƙare. Wannan yana jinkirin saboda yana da ɗaure ƙwaƙwalwar ajiya, ba mai ƙididdigewa ba - GPU yana kashe mafi yawan lokutan sa yana ɗaukar nauyi, ba yin lissafi ba. Ƙididdigar hasashe tana karya ƙulli. Karamin samfurin daftarin mai arha yana ba da shawarar guntun, a ce, alamun ɗan takara biyar. Babban samfurin 'manufa' sannan yana aiwatar da duka biyar a cikin fasinja guda ɗaya na gaba da duba su. Alamu waɗanda suka dace da abin da zai samar ana karɓa; a farkon sabani ya gyara ya watsar da sauran. Domin tabbatar da alamun da yawa suna kusan iri ɗaya da samar da ɗaya, zato da aka karɓa kusan kyauta ne.
Fahimtar Fasaha
Bangaren wayo shine ƙa'idar ƙima-samfur wanda ke ba da garantin rarraba kayan fitarwa ya yi daidai da lissafin lissafi da tafiyar da ƙirar da aka yi niyya kaɗai - don haka ingancin ba a kusanta ba, daidai ne. Adadin karɓa yana tafiyar da saurin gudu: mafi kyawun ƙaramin ƙirar yana tsinkayar babba, ƙarin alamar alama a kowane matakin tabbatarwa. Bambance-bambancen kamar Medusa suna ƙara ƙarin shugabannin tsinkaya ga ƙirar da aka yi niyya da kanta, da kuma zayyana EAGLE a cikin sararin samaniya, cire buƙatar ƙirar ƙirar daban.
Ƙwararren Ƙwararren Ƙwararru
Ƙididdigar ƙididdiga ta sa manyan nau'ikan harshe su samar da rubutu cikin sauri ta amfani da ƙarami, samfurin 'daftarin aiki' mai sauri don kimanta alamu da yawa a gaba, sannan samun babban samfurin ya tabbatar da su gaba ɗaya. Yana haɓaka ƙima 2-3x tare da ingancin fitarwa iri ɗaya. Ƙididdigar Haskakawa wani shingen ginin fasaha ne wanda ke shafar ingancin ƙira, farashin kayayyakin more rayuwa, jinkiri, da aminci a sikeli. Don haɓaka fahimta mai zurfi, bi da Ƙirar Ƙwarewa azaman ƙirar aiki, ba fasali ɗaya ba: ayyana sakamakon da ake so, fayyace zato, da raba abin da tsarin zai iya yi da dogaro daga abin da har yanzu ke buƙatar yanke hukunci na ƙwararru.
A aikace, ƙungiyoyi masu ƙarfi da ke amfani da Ƙwarewar Hasashen suna haɓaka gine-gine, bayanai, da zaɓin abubuwan more rayuwa tare da dogaro da farashi. Suna rubuta ƙayyadaddun ƙa'idodin nasara, gwaji akan bayanan gaskiya da gudanawar aiki, da jujjuyawar bisa ga tsarin gazawar da aka lura maimakon cin nasara na lokaci ɗaya. Wannan shine inda fahimtar ka'idar ta juya zuwa iyawa mai dorewa a cikin samfura, manufofi, da ayyuka.
Hukunce-hukuncen gine-gine suna haifar da aiki da tsadar aiki na shekaru. A lokaci guda, Haɓaka ma'auni ɗaya na iya ɓoye manyan raunin tsarin. Hanyar da ta fi dacewa ita ce haɗa saurin gwaji tare da horon gudanarwa: gudanar da matukin jirgi, kama shaida, buga rajistan ayyukan yanke shawara, da ci gaba da sabunta abubuwan tsaro kamar yadda halayen ƙira, tsammanin mai amfani, da buƙatun tsari ke tasowa.
Dabarun Tasiri
Hukunce-hukuncen gine-gine suna haifar da aiki da tsadar aiki na shekaru.
Hukunce-hukuncen gine-gine suna haifar da aiki da tsadar aiki na shekaru. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Ilimin fasaha yana taimaka wa ƙungiyoyi su zaɓi tari mai kyau, ba kawai sabon abu ba.
Ilimin fasaha yana taimaka wa ƙungiyoyi su zaɓi tari mai kyau, ba kawai sabon abu ba. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Zaɓuɓɓukan injiniya mafi kyau suna rage abin dogaro a cikin samarwa.
Zaɓuɓɓukan injiniya mafi kyau suna rage abin dogaro a cikin samarwa. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Aiwatar da Gaskiyar Duniya
Samfurin daftarin 7B yana ba da shawarar alamu don ƙirar taɗi na 70B don yanke jinkirin amsawa a cikin mataimakan samarwa.
Shugabannin Medusa sun makale akan LLM don haka yana tsinkayar alamu da yawa na gaba lokaci guda ba tare da wani tsari na daban ba.
vLLM yana ba da damar ƙididdige ƙididdigewa don haɓaka abubuwan samarwa-da-biyu a kan gungu na hidima
Ƙirƙirar EAGLE a cikin ɓoyayyun sararin ƙirar ƙirar don haɓaka ƙimar karɓa da saurin gaba ɗaya
Hanyoyin Aiwatarwa
Ƙirar ƙira a aikace
Samfurin daftarin 7B yana ba da alamu don ƙirar taɗi na 70B don yanke jinkirin amsawa a cikin mataimakan samarwa.
Samfurin daftarin 7B yana ba da alamu don ƙirar hira ta 70B don yanke latency a cikin mataimakan samarwa Ƙungiyoyi yawanci suna samun ingantacciyar sakamako lokacin da suka ayyana ƙofofin inganci a gaba, kiyaye hanyar haɓakar ɗan adam don shari'o'in gefe, da bin diddigin nasarorin samarwa da farashi na kuskure akan lokaci.
Ƙirar ƙira a aikace
Shugabannin Medusa sun makale akan LLM don haka yana tsinkayar alamu da yawa na gaba lokaci guda ba tare da wani tsari na daban ba.
Shugabannin Medusa sun makale a kan LLM don haka yana tsinkayar alamu da yawa na gaba gaba ɗaya ba tare da keɓantaccen tsarin ƙira ba Ƙungiyoyi yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓaka ɗan adam don ƙararraki, da kuma bin diddigin nasarorin samarwa da ƙimar kuskure akan lokaci.
Ƙirar ƙira a aikace
vLLM yana ba da damar ƙididdige ƙididdigewa don haɓaka abubuwan da ake samarwa-da-biyu a kan gungu na hidima.
vLLM yana ba da damar ƙididdige ƙididdigewa don haɓaka abubuwan samarwa-da-biyu a kan ƙungiyoyin ƙungiyoyi masu hidima yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ƙofofin inganci a gaba, kiyaye hanyar haɓakar ɗan adam don ƙararraki, da bin diddigin nasarorin samarwa da farashi na kuskure akan lokaci.
Ƙirar ƙira a aikace
Ƙirƙirar EAGLE a cikin ɓoyayyun sararin ƙirar ƙirar don haɓaka ƙimar karɓa da saurin gaba ɗaya.
Ƙirƙirar EAGLE a cikin ɓoyayyun sararin ƙirar ƙirar don haɓaka ƙimar karɓuwa da ƙungiyoyin gudu gabaɗaya yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ƙofofin inganci a gaba, kiyaye hanyar haɓakar ɗan adam don shari'o'i, da bin duk nasarorin samarwa da ƙimar kuskure akan lokaci.
Hatsari & Tsare-tsare
Haɓaka ma'auni ɗaya na iya ɓoye manyan raunin tsarin.
Sau da yawa ana raina kayan more rayuwa da kuma kuɗin kulawa.
Tsaro da gibin lura na iya girma yayin da tsarin ke ƙara haɓaka.
Taswirar Hanya
Ƙayyade latency, inganci, da maƙasudin farashi kafin aiwatarwa.
Ƙayyade latency, inganci, da maƙasudin farashi kafin aiwatarwa. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Alamar ma'auni a ƙarƙashin ainihin kaya da yanayin bayanai.
Alamar ma'auni a ƙarƙashin ainihin kaya da yanayin bayanai. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Kula da kayan aiki don kurakurai, ɗigo, da tasirin mai amfani.
Kula da kayan aiki don kurakurai, ɗigo, da tasirin mai amfani. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Shirya bijirowa da hanyoyin mayar da martani kafin sikeli.
Shirya bijirowa da hanyoyin mayar da martani kafin sikeli. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.