LLM 평가

관련 차원에는 사실적 정확성, 지침 따르기, 검색 사용, 견고성, 비용 및 응답 시간이 포함될 수 있습니다. 단일 선호도 점수가 모든 선호도를 포착하는 경우는 거의 없습니다.

주요 시사점

• 전체 애플리케이션 구성을 평가합니다.
• 채점 방법 자체를 검증합니다.
• 기권 및 적대적인 사례를 포함합니다.

사용자가 실제로 받는 시스템을 평가합니다. 검색, 도구 및 특정 프롬프트가 포함된 모델은 단독으로 테스트된 동일한 모델과 다르게 작동할 수 있습니다. 도구 호출 및 재시도에 대한 제한을 포함하여 평가 기록과 함께 이러한 설정을 유지합니다. 해석이 필요한 판단과 결정론적 점검을 결합합니다. 일부 추출된 필드 또는 실행 가능한 테스트에 대해서는 정확한 일치가 작동하는 반면, 요약에는 증거 및 누락에 대한 루브릭이 필요할 수 있습니다. 여러 검토자가 일관되게 적용하고 불일치를 검토할 수 있도록 기준표를 작성하세요. 모델은 등급을 매기는 데 도움이 될 수 있지만 모델의 판단은 편향 가능성이 있는 또 다른 측정 프로세스입니다. 독립적으로 검토된 예시와 비교하여 확인하고, 적절한 경우 답변 순서를 변경하고, 정확성보다 장황함이나 스타일을 더 중요하게 생각하는지 검사하세요. 한 모델이 다른 모델을 승인하는 것을 독립적인 증거로 취급하지 마십시오. 관련성이 있는 경우 검색된 자료에 대답할 수 없는 질문, 충돌하는 소스, 긴 맥락의 사례 및 악의적인 지침을 포함합니다. 작업 및 오류 심각도별로 결과를 보고합니다. 평가가 기억된 목표가 되지 않도록 유지된 자료를 새로 고치는 동안 실패한 사례를 회귀 사례로 유지합니다.

1. 14일 이내에 환불이 가능하다는 내용의 고안된 정책을 모델에 제공합니다.
2. 배송비 환불 여부를 묻습니다. 정책에 명시되어 있지 않기 때문에 자신 있는 답변은 지원되지 않습니다.
3. 비록 발명이 더 유용하게 들리더라도, 고안된 정책보다 누락된 정보를 더 높게 식별하는 답변에 점수를 매기십시오.

이 구성된 사례는 유창함보다는 증거 처리를 평가합니다.