콘텐츠로 건너뛰기
학습
뉴스
도구
채용
미션
검색
⌘K
English
기부
메뉴
여기서 시작하세요
학습 시작
학습
이동 학습
행동
가이드
AI 튜터
프롬프트 라이브러리
퀴즈
인증
용어집
뉴스
이동 뉴스
최신 AI 뉴스
주제 추적기
연구 및 데이터 세트
블로그
편집 원칙
정정 안내
도구
이동 도구
도구 디렉토리
최고의 목록
도구 비교
비용 계산기
프롬프트 구체화
AI 도구 제출
채용
이동 채용
AI 채용 검색
채용 공고 게시
후원 AIU
미션
이동 미션
미션
영향 및 통계
저자
도움말 센터
새로운 소식
지원
기부
홈
퀴즈
언어별 토큰화 차이 퀴즈
가이드 연계 퀴즈 · 중간 레벨
언어별 토큰화 차이 퀴즈
토크나이저가 일부 언어를 더 많은 토큰으로 분할하는 이유, 이것이 비용 및 컨텍스트 창에 미치는 영향, 격차를 감사하고 줄이는 방법을 테스트합니다.
관련 가이드 경로
언어 간 토큰화 차이
8 질문
합격 표시 80%
질문 1 의 8
언어 간 토큰 수 격차가 커지는 주요 원인은 무엇입니까?
힌트가 필요하신가요?
A
Some languages are naturally ten times wordier than English
B
Tokenizers were built from training text dominated by English and a few other languages
C
Non-English text is compressed before tokenizing
D
Models charge extra fees for translation