가이드 연계 퀴즈 · 중간 레벨

토크나이저가 필요 없는 바이트 수준 모델 퀴즈

원시 바이트 언어 모델, BLT의 엔트로피 기반 패치, 고정 토큰 어휘 제거에 따른 효율성 및 적용 범위 상충 관계를 이해합니다.

관련 가이드 경로토크나이저 자유 바이트 수준 모델
질문 1 의 8

토크나이저가 없는 바이트 수준 모델은 입력 단위로 무엇을 읽나요?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. 토크나이저가 없는 바이트 수준 모델은 입력 단위로 무엇을 읽나요?
    • 원시 바이트(UTF-8 값 0-255)
    • 고정 어휘의 단어 조각 하위 단어
    • 공백으로 구분된 전체 단어
    • 사전 계산된 임베딩만 해당
  2. 표준 변환기에 원시 바이트를 공급할 때의 주요 실제 단점은 무엇입니까?
    • 바이트는 영어가 아닌 텍스트를 나타낼 수 없습니다.
    • 시퀀스가 훨씬 길어져 컴퓨팅 비용이 증가합니다.
    • 포함할 수 있는 바이트 값이 너무 많습니다.
    • 바이트는 모든 단어 의미를 영구적으로 잃습니다.
  3. BLT(Byte Latent Transformer)는 바이트를 패치로 그룹화할 위치를 어떻게 결정합니까?
    • 모든 공백 문자를 분할하여
    • 4바이트의 고정 패치 크기 사용
    • 바이트 수준 예측 엔트로피(불확실성) 기반
    • 각 정방향 패스 중에 무작위로
  4. Why can a fixed subword vocabulary use more tokens for some languages than others?
    • Subword tokenizers only accept ASCII
    • All languages have identical token boundaries
    • They cannot represent numerals
    • Its token inventory may reflect the language distribution in the data used to build it
  5. What does removing a fixed tokenizer guarantee about byte-level input?
    • The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
    • The model understands every language without training data
    • It guarantees equal performance for all scripts
    • The model no longer needs a vocabulary or learned embeddings
  6. 바이트 수준 처리를 보여주었지만 속도가 느리다는 비판을 받은 이전 모델은 무엇입니까?
    • 버트
    • ByT5
    • Word2Vec
    • GPT-2
  7. What representations does BLT’s large global Transformer process?
    • Individual words from a fixed subword vocabulary only
    • 이미지 픽셀
    • Dynamically sized byte patches
    • Robot joint-angle commands
  8. Which components surround the global Transformer in BLT?
    • A reward model and a value network
    • A speech vocoder and a spectrogram
    • A camera and a lidar sensor
    • A local byte encoder and a local byte decoder