Термин от речника на AI

Какво е MMLU?

Определение

Бенчмарк тестване на езикови модели в 57 академични и професионални предмета с помощта на въпроси с множествен избор.

Разгледайте пълния AI речникРазгледайте всички безплатни ръководства за AI

Свързани термини

LLM-като съдияИзползване на езиков модел за оценяване или сравняване на резултати от други модели по време на оценка.GSM8KЕталон на текстови задачи по математика в началното училище, използвани за оценка на разсъждение стъпка по стъпка в езикови модели.Памет (памет на агент)Съхраненият контекст, който AI агент използва през стъпките или сесиите, за да подобри непрекъснатостта.Мултимодален моделМодел, който може да обработва или генерира множество типове данни като текст, изображение и аудио.Регистър на моделаЦентрален каталог за версии, одобряване и проследяване на модели в различни среди.AGI (общ изкуствен интелект)Хипотетична AI система, която може да изпълнява повечето интелектуални задачи на човешко ниво в много области.

Вижте също

Pass@kHumanEvalBi-EncoderFactualityCross-EncoderCitationsHybrid SearchWatermarking