AI 용어집

무엇입니까? 인간평가?

정의

단위 테스트를 통해 코드 생성 정확성을 측정하는 데 사용되는 Python 프로그래밍 문제의 벤치마크입니다.

관련 용어

벤치마크
모델 성능을 측정하고 비교하는 데 사용되는 표준화된 테스트 또는 데이터 세트입니다.
GSM8K
언어 모델의 단계별 추론을 평가하는 데 사용되는 초등학교 수학 단어 문제의 벤치마크입니다.
평가 세트
학습 후 모델 품질을 측정하는 데 사용되는 홀드아웃 데이터 세트입니다.
테스트 시간 컴퓨팅
품질이나 추론을 개선하기 위해 응답 생성 중에 사용되는 추가 추론 계산입니다.
패스@k
생성된 k개 샘플 중 하나 이상이 테스트를 통과할 가능성을 측정하는 코드 평가 지표입니다.
AI 거버넌스
사회에서 AI가 개발되고 사용되는 방식을 안내하는 정책, 표준 및 감독 메커니즘입니다.

See also

MMLUFactualityLLM-as-JudgeCitationsBi-EncoderWatermarkingCross-EncoderMid-training
전체 AI 용어집 찾아보기무료 AI 가이드 모두 살펴보기