Evaluări LLM

Evaluați sistemul pe care utilizatorii îl primesc efectiv. Un model cu recuperare, instrumente și un anumit prompt se poate comporta diferit față de același model testat singur. Păstrați aceste setări cu înregistrarea evaluării, inclusiv limitele apelurilor și reîncercărilor de instrumente. Combină verificările deterministe cu judecățile care necesită interpretare. Potrivirea exactă funcționează pentru unele câmpuri extrase sau teste executabile, în timp ce un rezumat poate avea nevoie de o rubrica pentru dovezi și omisiuni. Scrieți grila astfel încât diferiți recenzenți să o poată aplica în mod consecvent și să examineze dezacordurile. Un model poate ajuta la clasificare, dar judecata lui este un alt proces de măsurare cu posibile părtiniri. Verificați-l cu exemplele revizuite în mod independent, variați ordinea răspunsurilor acolo unde este cazul și verificați dacă răsplătește verbozitatea sau stilul mai mult decât corectitudinea. Nu tratați un model care aprobă altul ca o dovadă independentă. Includeți întrebări fără răspuns, surse conflictuale, cazuri cu context lung și instrucțiuni rău intenționate în materialul preluat atunci când acestea sunt relevante. Raportați rezultatele în funcție de sarcină și de gravitatea erorilor. Păstrați exemplele eșuate ca cazuri de regresie în timp ce reîmprospătați materialul reținut, astfel încât evaluarea să nu devină o țintă memorată.