기계 번역

신경 시스템은 종종 이것을 시퀀스 간 작업으로 처리합니다. 즉, 하나의 시퀀스를 읽고 다른 시퀀스를 생성합니다. 이러한 시스템을 구축하고 평가하려면 데이터 정렬 및 언어별 오류에 주의가 필요합니다.

주요 시사점

• 정렬된 데이터와 문서 수준 분할을 확인하세요.
• 평가 구성을 기록합니다.
• 언어 쌍별로 의미 변경 오류를 검사합니다.

병렬 교육 데이터는 소스 구절을 해당 번역과 쌍으로 연결합니다. 잘못된 정렬, 중복된 자료 또는 일치하지 않는 언어 레이블은 잘못된 관계를 가르칠 수 있습니다. 거의 중복되는 누출을 방지하기 위해 평가 데이터를 분할할 때 쌍을 정리하고 문서를 함께 보관하십시오. 토큰화는 텍스트가 모델 입력이 되는 방식을 결정합니다. 하나의 쓰기 시스템을 효율적으로 처리하는 토크나이저는 다른 쓰기 시스템을 더 많은 단위로 분할할 수 있습니다. 두 언어의 길이 제한을 확인하고 잘림으로 인해 소스 또는 대상 구절의 끝이 제거되는지 확인하세요. 자동 측정항목을 사용하면 반복 실험이 실용적입니다. BLEU는 단어 시퀀스의 패턴을 참조 번역과 비교하지만 메트릭은 도메인에 대한 의미, 가독성 또는 적합성에 대한 완전한 판단이 아닙니다. 평가 설정과 참조 선택이 중요하므로 점수와 함께 기록하세요. 추가, 누락, 변경된 숫자, 일관되지 않은 용어, 잘못된 부정, 어색한 표현 등 측정항목과 함께 오류 분류를 사용하세요. 각 언어 쌍과 도메인을 별도로 평가합니다. 리소스가 풍부한 여러 언어에 대한 평균은 덜 표현된 언어 또는 전문 문서 유형의 오류를 숨길 수 있습니다.

1. "패키지가 도착하지 않았습니다."라는 참조를 상상해 보세요. A 후보는 “소포가 도착하지 않았다”고 말했다. B 후보는 “택배가 도착했다”고 말했다.
2. A 후보는 다른 단어를 사용하지만 주요 의미를 유지합니다. B 후보는 결과를 반전시키면서 참고문헌과 유사하다.
3. 외양이나 중복만으로 번역을 선택하는 대신 부정 오류를 명시적으로 기록합니다.

구성된 예는 메트릭 기반 비교에 의미론적 검토가 필요한 이유를 보여줍니다.