무엇입니까? BPE(바이트 쌍 인코딩)?

모델 입력을 위해 텍스트를 토큰으로 분할하는 프로세스입니다.

이미지나 스캔의 텍스트를 기계가 읽을 수 있는 텍스트로 변환하는 기술입니다.

가장 가능성이 높은 k개의 다음 토큰에서만 샘플링하는 디코딩 전략입니다.

예측 오류를 네트워크를 통해 역방향으로 전파하여 모델 가중치를 업데이트하는 핵심 훈련 알고리즘입니다.

쿼리와 문서를 별도의 벡터로 인코딩하여 대규모로 빠르게 비교할 수 있는 모델입니다.

더 높은 확률의 출력을 찾기 위해 각 단계에서 상위 여러 후보 시퀀스를 유지하는 디코딩 알고리즘입니다.