콘텐츠로 건너뛰기
학습
뉴스
도구
채용
미션
검색
⌘K
English
기부
메뉴
여기서 시작하세요
학습 시작
학습
이동 학습
행동
가이드
AI 튜터
프롬프트 라이브러리
퀴즈
인증
용어집
뉴스
이동 뉴스
최신 AI 뉴스
주제 추적기
연구 및 데이터 세트
블로그
편집 원칙
정정 안내
도구
이동 도구
도구 디렉토리
최고의 목록
도구 비교
비용 계산기
프롬프트 구체화
AI 도구 제출
채용
이동 채용
AI 채용 검색
채용 공고 게시
후원 AIU
미션
이동 미션
미션
영향 및 통계
저자
Help center
새로운 소식
지원
기부
← 모든 퀴즈로 돌아가기
가이드 연계 퀴즈 • 중간 레벨 • 6 질문
WordPiece 토큰화 퀴즈
WordPiece가 텍스트를 분할하는 방법과 그것이 사용되는 이유에 대한 이해를 테스트하십시오.
관련 가이드 경로
워드피스 토큰화
질문 1 의 6
WordPiece 출력에서 '##' 접두사는 무엇을 나타냅니까?
힌트가 필요하신가요?
A
토큰은 단어 초기가 아닌 단어 내부의 연속 부분입니다.
B
토큰은 [SEP]와 같은 특수 구분 기호입니다.
C
토큰은 어휘에서 가장 높은 빈도를 갖습니다.
D
토큰은 알 수 없는 어휘 마커입니다.