← 모든 퀴즈로 돌아가기가이드 연계 퀴즈 • 중간 레벨 • 6 질문

토큰화 및 바이트 쌍 인코딩 퀴즈

텍스트가 토큰이 되는 방식과 BPE가 어휘를 구축하는 방식에 대해 알고 있는 내용을 테스트해 보세요.

언어 모델이 읽을 수 있도록 토큰화는 무엇을 생성합니까?