GUIDE teknik

Version yu gaaw ak test régression

Version bu gaaw ak test regression dafay tekki denc bépp laaj ni artefact buñ versione ba noppi defaraat ci saasi benn suite evaluation saa yu laaj bi, model bi wala kode bi ko wër soppeekoo.

Déglul tegtal biiIA-nettali · ~3 min

Ci xët wii4 simili jàng
  1. Résumé
  2. Plongeur bu xóot
  3. Doxal ci àdduna dëgg
  4. Ëlëgu Version bu gaaw ak Test Regression
  5. Teg ko ci jëf
  6. Weyal di banneexu
  7. Laaj yi ñuy faral di laaj

Résumé

Dafa am solo ndax coppite bu ndaw ci kàddu yi wala yeesal modelu furnisër bi mën na dindi ci anam wu tekkaaral génne yi jëfandikukat yi ak sistem yi ci suuf di aju ci.

Plongeur bu xóot

Laajte yi dañuy àndaale ak logique: tegtal, tënk, misaal ak formaa yiy wane li aplikaasioŋ bi di def. Soo leen jàppee ni ay chaîne de text yu bari, loolu dafay indi ay coppite yuñu dul topp ak ay surprise ci production bi. Fexe leen ñu melni kode mooy saytu verisioŋ yi, xoolaat, saytu otomatik ak génne yuñ saytu. Li soxla versioning mooy lu ëpp kàddu yu gaaw yi. Sorti a ngi aju ci configuration bi yépp: sistem bi laaj, gaaraas bi ak ay variable, misaal yu néew, jumtukaay wala schema fonction, ràññeekaay model bi, parametru sampling yu melni tàngoor ak jeton yu gëna mag, ak jekkal seet sudee këyit yi dañu leen dugal. Soppi benn ci ñoom mën na soppi doxalin, kon ekip yi dañu leen boole, ñu faral di leen xàmmee ci hash ëmbiit, ba noppi denc leen ci git wala registry prompt. Test regression mingi soxla ensemble done evaluation, ñu koy faral di woowe ensemble wurus: ay dugal yu dëggu yu representatif, ay cas yuñ xamee ci njeexte li, ak ay jafe-jafe ci liggéey bi weesu ñu soppi leen ci ay cas test. Grader yi tàmbalee ci yu tar dem ba ci yu leerul: méngoo bu dëggu, gëmloo schema JSON, expression reguleer, saytu bu lalu ci kode, àttekat LLM buy joxe poñ ci rubrique, ak xoolaat nit saa yu nekk ci misaal yi. Suite bi dafay daw ci saasi ci bépp coppite ba noppi méngale njariñ yi ak liñu mujjee nangu. Coppite model yi dañu am risk ni coppite yu gaaw yi. Pseudo-fournisseur yu melni tur model bu mujj mën nañu joxoñ version yu bees ci diir bu gàtt, te nataal yu yàgg yi dañuy jeex. Pinning benn nataal bu am bis te nga defaraat suite bi balaa ngay soppi dafay soppi drift bu noppi nekk dogal buñu ko soobe. Barina luñu juum ci luy indi jafe-jafe. Yenn spot check yu ñuy def ak loxo dañuy ñàkk ay njuumte yu bari. Tamperatiir 0 dafay wàññi aleatoire waaye garantiwul ni génne yi dañuy nuru ci daw yi. Njortu bu gëna rëy ci LLM-àttekat du gëna baax ci saasi, ndax àttekat yi dañuy bëgg tontu yu gëna gudd. Ndax génne yi dañu wuute, suite yu baax yi dañuy jëfandikoo thresholds ak misaal yu bari, duñu laaj string yu tolloo. Jumtukaayi open-source yu melni promptfoo, ak platform evaluation komersiyaal, dañu jàppale liggéey yooyu, waaye script bu yomb ci CI mën na liggéey itam.

Doxal ci àdduna dëgg

Ekipu jàppale-bot dafay denc laajte yi ni fichier template ci git; bépp laaj pull dafay génne liggéeyu CI buy doxal 300 laaji kiliyaan yiñ denc ba noppi di tere boole bi sudee paccu tontu politik yu jaar yoon wàcci ci suufu liñuy jëfandikoo leegi.

Benn pipeline buy dindi faktiir dafay tëye ab nataalu model bu am bis; balaa ñuy toxu ci nataal bu bees, ekip bi dafay doxal setam wurus ci ñoom ñaar ba noppi xoolaat wuute yi ci JSON biy génne barab bu nekk.

Responsable produit bi dafay soppali tegtali melokaanu prompt bi; suite regression dafay wane tontu yu gëna xaritoo waaye tontu yu bari amul benn disclaimer bu war, kon coppite bi dañu koy xoolaat balaa muy génne.

Benn ekip dafay dugal ID version prompt bi ak bepp laaj production, suko defee su plainte yi di yokk ñu mën nañu boole jafe-jafe bi ci benn deployment bu ñu tànn ba noppi dellu ci ay simili.

Ëlëgu Version bu gaaw ak Test Regression

Evaluation automatisé mingi nekk lu ñuy faral di def ci defar aplikaasioŋu LLM, niko test unité nekkee lu ñuy faral di def ci losisel yi. Yoon yi mëna am dañuy boole lëkkaloo yu gëna dëgër diggante saytu liggéey bi ak ensemble test yi, suko defee njuumte dëgg yi di dugg ci suite bi ci saasi, ak gëna saytu àttekati LLM, yu seen wóolu wuute ci liggéey bi. Modèlu deprecation yi dina ñu wéy di forse migration yi, loolu mooy tax suite regression bu wóor bi gëna am solo ci diir bi. Benn ci lii mënul dindi njariñu xoolaat nit ñi ci liggéey yu am solo yi.

Teg ko ci jëf

Lu tax mu am solo

  • Njëgg ak budget. Dogal yi architecture di jël dañuy indi njariñ ak njëgu liggéey bi ay at ci ginaaw.
  • dogal yu gëna leer. Njàngalem xarala yi dafay jàppale ekip yi ñu tànn li gën, te baña yam ci li gëna bees daal.
  • Xool kalite. Tanneef yu gëna baax ci wàllu ingeñër dina wàññi jafe-jafe yi ci wàllu wóor ci liggéey bi.

Moytul

  • Optimize benn benchmark mën na nëbb ñakk kattan yu gëna yaatu ci sistem bi.
  • Njëg li ñuy fay ci infrastructure yi ak ci toppatoo dañuy faral di suufeel.
  • Bu sistem yi di gëna xawa jafee xam, jafe-jafe yi am ci wàllu kaaraange ak seetlu mën nañu gëna bari.

Jéego yi ci topp

  1. Mandargal latency, kalite, ak njëg yi laata ngay jëfandikoo.
  2. Benchmark ci biir sargal ak done yu dëggu.
  3. Jumtukaay bi di saytu njuumte yi, derive bi ak njeextalu jëfandikukat bi.
  4. Waajal rollback ak yooni tontu ci jafe-jafe yi laata ngay eskale.

Weyal di banneexu

Bulletin bu amul fayda

Jàngal xibaar AI bu bes

Ñatti jaar-jaari IA yuñ firndeel bis bu nekk ci ayu-bis bi, ñu bind leen ci Àngle bu leer. Gratis ba fàww, amul yëgle.

Benn email bis bu nekk ci ayu-bis bi. Benn klik nga dindi abonemaa bi. Dunu musa jaay wala séddoo sa adres.

Nattal sa bopp

Take the Prompt Versioning and Regression Testing quiz

Feedback ci saasi ci bépp tontu, ak sertifikaa buñ mëna séddoo ak ID buñ mëna saytu soo jàllee ci njàng mi.

Tambalil quiz

Jàppale njàngum IA te doo fay. AI Understanding mbootaay la buy def te Yàlla tax — amul yëgle, amul paywall, musul am. Defal ab sarax

Laaj yi ñuy faral di laaj

Luy Version bu gaaw ak Test Regression?

Version bu gaaw ak test regression dafay tekki denc bépp laaj ni artefact buñ versione ba noppi defaraat ci saasi benn suite evaluation saa yu laaj bi, model bi wala kode bi ko wër soppeekoo. Dafa am solo ndax coppite bu ndaw ci kàddu yi wala yeesal modelu furnisër bi mën na dindi ci anam wu tekkaaral génne yi jëfandikukat yi ak sistem yi ci suuf di aju ci.

Ban mbir lañu wara boole muy benn configuration prompt?

Sorti mingi aju ci configuration bi yépp, kon soppi benn pàcc mën na soppi doxalin.

Lan moo tax nga takk nataalu model bu am bis ci barabu pseudo-alias bu mujj?

Aliases yi mën nañu joxoñ version yu bees ci diir bu gàtt, di indi drift bu noppi. Pinning dafay soppi yeesal yi ci dogal yuñ natt.

Lu guide bi wax ci tàngoor 0?

Sorti yi mën nañu wuute ci tàngoor 0, kon test yi waru ñu sukkandikoo ci yamale bu dëggu.

naka la suite régression wara def ak génne yi amul benn dogal?

Ndax génne yi dañu wuute, suite yi dañuy méngale tolluwaayu paas yi ak baseline yi te mën nañu jël misaal yu bari.

Lan mooy gëna am solo ci test cases yu bees ngir set wurus?

Soppi njuumte dëgg ci test dafay tax ñu jàpp njuumte boobu su delloo.