āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āļāļąāļ§āļāļĩāđāļ§āļąāļāļāļēāļĢāļāļĢāļ°āđāļĄāļīāļ RAG āđāļĨāļ° RAGAS
āđāļāļāļāļīāļ
āļāļđāđāļĄāļ·āļāļāļēāļāđāļāļāļāļīāļ
ROUGE āđāļĨāļ° BLEU āđāļāđāļāļŦāļāđāļ§āļĒāļ§āļąāļāļāļąāļāđāļāļĄāļąāļāļīāļāļĩāđāļāđāļ§āļĒāđāļāļāļēāļĢāđāļāļĢāļĩāļĒāļāđāļāļĩāļĒāļāļāđāļāļāļ§āļēāļĄāļāļĩāđāļŠāļĢāđāļēāļāđāļāļĒāđāļāļĢāļ·āđāļāļāļāļąāļāļāļēāļĢāļāđāļēāļāļāļīāļāđāļāļĒāļĄāļāļļāļĐāļĒāđ
āļāļąāļāļāļģāđāļāļ°āļāļģāļāļĩāđāļāļĢāļĢāļĒāļēāļĒāđāļāļĒ AI · ~2 min
BLEU āļāļđāļāļŠāļĢāđāļēāļāļāļķāđāļāđāļāļ·āđāļāļāļēāļĢāđāļāļĨāđāļĨāļ°āļāļēāļĻāļąāļĒāļāļ§āļēāļĄāđāļĄāđāļāļĒāļģ ROUGE āļāļđāļāļŠāļĢāđāļēāļāļāļķāđāļāđāļāļ·āđāļāļāļēāļĢāļŠāļĢāļļāļāđāļĨāļ°āļāļēāļĻāļąāļĒāļāļēāļĢāđāļĢāļĩāļĒāļāļāļ·āļ
āļāļąāļ§āļāļĩāđāļ§āļąāļāļāļąāđāļāļŠāļāļāļ§āļąāļāļāļēāļĢāļāļąāļāļāđāļāļāļāļąāļāļāļāļ n-gram āļĢāļ°āļŦāļ§āđāļēāļāļāđāļāļāļ§āļēāļĄāļāļĩāđāđāļāđāļāļāļąāļ§āđāļĨāļ·āļāļāđāļĨāļ°āļāđāļāļāļ§āļēāļĄāļāđāļēāļāļāļīāļāļŦāļāļķāđāļāļāđāļāļāļ§āļēāļĄāļāļķāđāļāđāļ āđāļāđāļāļ°āđāļāđāļāļāļīāļĻāļāļēāļāļāļĩāđāđāļāļāļāđāļēāļāļāļąāļ BLEU (āļāļēāļĢāļĻāļķāļāļĐāļēāđāļāļāļāļĢāļ°āđāļĄāļīāļāļŠāļāļāļ āļēāļĐāļē) āļāļ°āļāļģāļāļ§āļāļāļ§āļēāļĄāđāļĄāđāļāļĒāļģ n-gram āļāļĩāđāđāļāđāļĢāļąāļāļāļēāļĢāđāļāđāđāļ (āđāļāļĒāļāļąāđāļ§āđāļāļāļ·āļ 1 āļāļķāļ 4 āļāļĢāļąāļĄ) āļāļđāļāļāđāļēāđāļŦāļĨāđāļēāļāļąāđāļāđāļāđāļāļīāļāđāļĢāļāļēāļāļāļīāļ āđāļĨāļ°āđāļāđāļāļēāļĢāļāļĢāļąāļāļāđāļēāļāļ§āļēāļĄāļŠāļąāđāļ āđāļāļ·āđāļāđāļŦāđāļĢāļ°āļāļāđāļĄāđāļŠāļēāļĄāļēāļĢāļāđāļĨāđāļāđāļāļĄāļāļ°āđāļāļāđāļāļĒāļāļēāļĢāļŠāļĢāđāļēāļāļāļĨāļĨāļąāļāļāđāļāļĩāđāļŠāļąāđāļāļĄāļēāļ ROUGE (āļāļēāļĢāļĻāļķāļāļĐāļēāđāļāļāđāļāđāļāļāļēāļĢāđāļĢāļĩāļĒāļāļāļ·āļāļŠāļģāļŦāļĢāļąāļāļāļēāļĢāļāļĢāļ°āđāļĄāļīāļ Gisting) āđāļŦāđāļāļ§āļēāļĄāļŠāļģāļāļąāļāļāļąāļāļāļēāļĢāđāļĢāļĩāļĒāļāļāļ·āļāđāļāļ: ROUGE-N āļāļąāļ n-gram āļāļĩāđāļāļąāļāļāđāļāļāļāļąāļ ROUGE-L āđāļāđāļĨāļģāļāļąāļāļĒāđāļāļĒāļĢāđāļ§āļĄāļāļĩāđāļĒāļēāļ§āļāļĩāđāļŠāļļāļāđāļāļ·āđāļāđāļŦāđāļĢāļēāļāļ§āļąāļĨāđāļāđāļāļēāļĢāđāļāđāļāļāļąāļāļāļēāļĄāļĨāļģāļāļąāļāđāļāļĒāđāļĄāđāļāđāļāļāļāļēāļĻāļąāļĒāļāļ§āļēāļĄāļāđāļāđāļāļ·āđāļāļāļāļąāļ BLEU āļāļēāļĄāļ§āđāļē 'āļŠāļīāđāļāļāļĩāđāļĢāļ°āļāļāļāļđāļāļāļđāļāļāđāļāļāļĄāļēāļāļāđāļāļĒāđāļāļĩāļĒāļāđāļ' āđāļāļāļāļ°āļāļĩāđ ROUGE āļāļēāļĄāļ§āđāļē 'āļĢāļ°āļāļāļāļąāļāļāļķāļāļāđāļāļĄāļđāļĨāļāđāļēāļāļāļīāļāđāļāđāļĄāļēāļāļāđāļāļĒāđāļāļĩāļĒāļāđāļ' āļāļąāđāļāļŠāļāļāļĄāļĩāļĢāļēāļāļēāļāļđāļāđāļĨāļ°āļāļģāļāđāļģāđāļāđ āđāļāđāđāļŦāđāļāđāļāļĩāļĒāļāļāļģāļāļĩāđāļāļąāļāļāđāļāļāļāļąāļ āļāļēāļĢāļāļāļāļāļ§āļēāļĄāđāļĨāļ°āļāļ§āļēāļĄāļŦāļĄāļēāļĒāļŦāļēāļĒāđāļ
āļāļąāļāļ§āļīāļāļąāļĒāļāļēāļĢāđāļāļĨāļāđāļ§āļĒāđāļāļĢāļ·āđāļāļāļĢāļēāļĒāļāļēāļāļāļ°āđāļāļ BLEU āđāļāļāļēāļĢāļ§āļąāļāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļ WMT āđāļāļ·āđāļāđāļāļĢāļĩāļĒāļāđāļāļĩāļĒāļāļāļļāļāļ āļēāļāļāļāļāļĢāļ°āļāļ
āđāļāļāļŠāļēāļĢāļŠāļĢāļļāļāļĢāļēāļĒāļāļēāļ ROUGE-1, ROUGE-2 āđāļĨāļ° ROUGE-L āļāļāļāļļāļāļāđāļāļĄāļđāļĨ CNN/DailyMail
āļāļĩāļĄāļ§āļīāļĻāļ§āļāļĢāļāļīāļāļāļēāļĄ BLEU āđāļ CI āđāļāļ·āđāļāļāļĢāļ§āļāļāļąāļāļāļēāļĢāļāļāļāļāļĒāđāļĄāļ·āđāļāļāļĢāļąāļāđāļāđāļāđāļĄāđāļāļĨāļāļēāļĢāđāļāļĨāļāļĒāđāļēāļāļĨāļ°āđāļāļĩāļĒāļ
āļāļĨāļīāļāļ āļąāļāļāđāļŠāļĢāļļāļāđāļāđ ROUGE-L āđāļāđāļāļāļēāļĢāļāļĢāļ§āļāļŠāļāļāļāļąāļāđāļāļĄāļąāļāļīāļĢāļēāļāļēāļāļđāļāļāđāļāļāļāļĩāđāļāļ°āļāļģāđāļāļīāļāļāļēāļĢāļāļĢāļ°āđāļĄāļīāļāđāļāļĒāļĄāļāļļāļĐāļĒāđāļāļķāđāļāļĄāļĩāļāđāļēāđāļāđāļāđāļēāļĒāļŠāļđāļāļāļ§āđāļē
āđāļāļ·āđāļāļāļāļēāļāļāļąāļ§āļāļĩāđāļ§āļąāļ n-gram āđāļŦāđāļĢāļēāļāļ§āļąāļĨāđāļāđāļāļēāļĢāļāļąāļāļāļđāđāļāļģāļāļĩāđāļāļĢāļāļāļąāļāļāļļāļāļāļĢāļ°āļāļēāļĢ āļāļ§āļāļĄāļąāļāļāļķāļāļāļĢāļ°āđāļĄāļīāļāļāđāļēāļāļēāļĢāļāļāļāļāļ§āļēāļĄāļāļĩāđāļāļđāļāļāđāļāļāļāđāļģāđāļāļīāļāđāļāđāļĨāļ°āļāļēāļĢāđāļāļĩāļĒāļāļāđāļģāđāļāđāļāļĨāđāļāļ āļāļķāđāļāđāļāđāļāļāļąāļāļŦāļēāļāļĩāđāđāļāļīāđāļĄāļĄāļēāļāļāļķāđāļāđāļĄāļ·āđāļāđāļāļēāļāđāļāļļāļāļāļāļ LLM āđāļĒāļāļĻāļąāļāļāđāļāļēāļāļāļēāļĢāļāđāļēāļāļāļīāļ āļāļēāļĢāļāļąāļāļāļąāļ§āļ§āļąāļāđāļāļāļāļąāļ āđāļāđāļ BERTScore āđāļĨāļ°āļāļąāļ§āļ§āļąāļāļāļĩāđāđāļĢāļĩāļĒāļāļĢāļđāđ āđāļāđāļ BLEURT āđāļĨāļ° COMET āļĢāļ§āļĄāļāļķāļāļāļēāļĢāļāļĢāļ°āđāļĄāļīāļ LLM āđāļāļāļēāļāļ°āļāļđāđāļāļąāļāļŠāļīāļ āļāļ°āļāđāļ§āļĒāđāļŠāļĢāļīāļĄāļŦāļĢāļ·āļāđāļāļāļāļĩāđāļāļąāļ§āļāļĩāđāļ§āļąāļāđāļŦāļĨāđāļēāļāļĩāđāļĄāļēāļāļāļķāđāļ āļāļķāļāļāļĢāļ°āļāļąāđāļ ROUGE āđāļĨāļ° BLEU āļāđāļĒāļąāļāļāļāļĄāļĩāļĢāļēāļĒāļāļēāļāļāļ·āđāļāļāļēāļāļāļĩāđāļĢāļ§āļāđāļĢāđāļ§āđāļĨāļ°āđāļāļĢāđāļāđāļŠāđāļāļĢāļēāļĒāļāļēāļāđāļāļ·āļāļāļāļļāļāļāļāļąāļ
āļāļāļŦāļĄāļēāļĒāļāđāļēāļ§āļāļĢāļĩ
āđāļĢāļ·āđāļāļāļĢāļēāļ§ AI āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļĨāđāļ§ 3 āđāļĢāļ·āđāļāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āđāļāđāļē, āđāļāļĩāļĒāļāđāļāđāļāļ āļēāļĐāļēāļāļąāļāļāļĪāļĐāļāļĢāļĢāļĄāļāļē āļāļĢāļĩāļāļĨāļāļāđāļ āđāļĄāđāļĄāļĩāđāļāļĐāļāļē
āļāļĩāđāļĄāļĨāļŦāļāļķāđāļāļāļāļąāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āļĒāļāđāļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļāļĢāđāļāļāļĨāļīāļāđāļāļĩāļĒāļ§ āđāļĢāļēāđāļĄāđāđāļāļĒāļāļēāļĒāļŦāļĢāļ·āļāđāļāļĢāđāļāļĩāđāļāļĒāļđāđāļāļĩāđāļĄāļĨāļāļāļāļāļļāļ
āļāļāļŠāļāļāļāļąāļ§āđāļāļ
āļāđāļāđāļŠāļāļāđāļāļ°āļāļąāļāļāļĩāļŠāļģāļŦāļĢāļąāļāļāļļāļāļāļģāļāļāļ āđāļĨāļ°āđāļāļĢāļąāļāļĢāļāļāļāļĩāđāļŠāļēāļĄāļēāļĢāļāđāļāļĢāđāđāļāđāļāļĢāđāļāļĄ ID āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļāđāđāļĄāļ·āđāļāļāļļāļāļāđāļēāļāļŦāļĨāļąāļāļŠāļđāļāļĢ
āļŠāļāļąāļāļŠāļāļļāļāļāļēāļĢāļĻāļķāļāļĐāļē AI āļāļĢāļĩ AI Understanding āđāļāđāļāļāļāļāđāļāļĢāđāļĄāđāđāļŠāļ§āļāļŦāļēāļāļĨāļāļģāđāļĢ 501(c)(3) â āđāļĄāđāļĄāļĩāđāļāļĐāļāļē āđāļĄāđāļĄāļĩāļāļģāđāļāļāđāļāļīāļ, āļāļĨāļāļāđāļ āļāļĢāļīāļāļēāļ
ROUGE āđāļĨāļ° BLEU āđāļāđāļāļŦāļāđāļ§āļĒāļ§āļąāļāļāļąāļāđāļāļĄāļąāļāļīāļāļĩāđāļāđāļ§āļĒāđāļāļāļēāļĢāđāļāļĢāļĩāļĒāļāđāļāļĩāļĒāļāļāđāļāļāļ§āļēāļĄāļāļĩāđāļŠāļĢāđāļēāļāđāļāļĒāđāļāļĢāļ·āđāļāļāļāļąāļāļāļēāļĢāļāđāļēāļāļāļīāļāđāļāļĒāļĄāļāļļāļĐāļĒāđ BLEU āļāļđāļāļŠāļĢāđāļēāļāļāļķāđāļāđāļāļ·āđāļāļāļēāļĢāđāļāļĨāđāļĨāļ°āļāļēāļĻāļąāļĒāļāļ§āļēāļĄāđāļĄāđāļāļĒāļģ ROUGE āļāļđāļāļŠāļĢāđāļēāļāļāļķāđāļāđāļāļ·āđāļāļāļēāļĢāļŠāļĢāļļāļāđāļĨāļ°āļāļēāļĻāļąāļĒāļāļēāļĢāđāļĢāļĩāļĒāļāļāļ·āļ
BLEU āļāļđāļāļŠāļĢāđāļēāļāļāļķāđāļāđāļāļ·āđāļāļāļēāļĢāđāļāļĨāđāļĨāļ°āļāļīāļāļāļēāļĄāļāļ§āļēāļĄāđāļĄāđāļāļĒāļģ n-gram āļāļĩāđāđāļāđāļĢāļąāļāļāļēāļĢāđāļāđāđāļāļāļĢāđāļāļĄāļāļēāļĢāļāļĢāļąāļāļāļ§āļēāļĄāļŠāļąāđāļ
ROUGE āļĒāđāļāļĄāļēāļāļēāļ Recall-Oriented Understudy for Gisting Evaling āđāļĨāļ°āđāļāđāļāļĒāđāļģāļ§āđāļēāļāđāļāļĄāļđāļĨāļāđāļēāļāļāļīāļāļāļđāļāļāļąāļāđāļāđāļĄāļēāļāļāđāļāļĒāđāļāļĩāļĒāļāđāļ
āļāļēāļĢāļāļĢāļąāļāļāļ§āļēāļĄāļŠāļąāđāļāļāļ°āļĨāļ BLEU āđāļĄāļ·āđāļāļāļąāļ§āđāļĨāļ·āļāļāļŠāļąāđāļāļāļ§āđāļēāļāđāļāļĄāļđāļĨāļāđāļēāļāļāļīāļ āļŠāđāļāļāļĨāđāļŦāđāļĢāļ°āļāļāđāļĄāđāļŠāļēāļĄāļēāļĢāļāļāļĒāļēāļĒāļāļ§āļēāļĄāđāļĄāđāļāļĒāļģāļāđāļ§āļĒāđāļāļēāļāđāļāļļāļāļāļĩāđāļŠāļąāđāļāļĨāļ
ROUGE-L āđāļāđāļĨāļģāļāļąāļāļĒāđāļāļĒāļĢāđāļ§āļĄāļāļĩāđāļĒāļēāļ§āļāļĩāđāļŠāļļāļ āđāļāļĒāđāļŦāđāļĢāļēāļāļ§āļąāļĨāļāļēāļĢāđāļāđāļāļāļąāļāļāļēāļĄāļĨāļģāļāļąāļāđāļāļĒāļāļĨāđāļāļĒāđāļŦāđāļĄāļĩāļāđāļāļāļ§āđāļēāļ
āļāļąāđāļāļŠāļāļāđāļāļāļāļēāļĻāļąāļĒāļāļēāļĢāļāļąāļāļāļđāđāļāļģ/n-gram āļāļĩāđāļāļĢāļāļāļąāļāļāļļāļāļāļĢāļ°āļāļēāļĢ āļāļąāļāļāļąāđāļāļāļķāļāļāļĢāļ°āđāļĄāļīāļāļāđāļēāļāļēāļĢāļāļāļāļāļ§āļēāļĄāļāļĩāđāļāļđāļāļāđāļāļāļāļĩāđāđāļāļāļāđāļēāļāļāļēāļāļāđāļāļĄāļđāļĨāļāđāļēāļāļāļīāļāļāđāļģāđāļāļīāļāđāļ
āđāļĢāļĩāļĒāļāļĢāļđāđāļāđāļāđāļ
āļāļģāđāļāļ°āļāļģāđāļāļīāđāļĄāđāļāļīāļĄāļāļĩāđāđāļĨāļ·āļāļāļŠāļģāļŦāļĢāļąāļāļŦāļąāļ§āļāđāļāļāļĩāđ
āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āļāļąāļ§āļāļĩāđāļ§āļąāļāļāļēāļĢāļāļĢāļ°āđāļĄāļīāļ RAG āđāļĨāļ° RAGAS
āđāļāļāļāļīāļ