LLM 평가

사용자가 실제로 받는 시스템을 평가합니다. 검색, 도구 및 특정 프롬프트가 포함된 모델은 단독으로 테스트된 동일한 모델과 다르게 작동할 수 있습니다. 도구 호출 및 재시도에 대한 제한을 포함하여 평가 기록과 함께 이러한 설정을 유지합니다. 해석이 필요한 판단과 결정론적 점검을 결합합니다. 일부 추출된 필드 또는 실행 가능한 테스트에 대해서는 정확한 일치가 작동하는 반면, 요약에는 증거 및 누락에 대한 루브릭이 필요할 수 있습니다. 여러 검토자가 일관되게 적용하고 불일치를 검토할 수 있도록 기준표를 작성하세요. 모델은 등급을 매기는 데 도움이 될 수 있지만 모델의 판단은 편향 가능성이 있는 또 다른 측정 프로세스입니다. 독립적으로 검토된 예시와 비교하여 확인하고, 적절한 경우 답변 순서를 변경하고, 정확성보다 장황함이나 스타일을 더 중요하게 생각하는지 검사하세요. 한 모델이 다른 모델을 승인하는 것을 독립적인 증거로 취급하지 마십시오. 관련성이 있는 경우 검색된 자료에 대답할 수 없는 질문, 충돌하는 소스, 긴 맥락의 사례 및 악의적인 지침을 포함합니다. 작업 및 오류 심각도별로 결과를 보고합니다. 평가가 기억된 목표가 되지 않도록 유지된 자료를 새로 고치는 동안 실패한 사례를 회귀 사례로 유지합니다.