Questionário vinculado ao guia · Médio Nível

Questionário sobre modelos de linguagem pequena

Compare recursos de modelos compactos, com dados selecionados, destilação, poda, armazenamento de peso quantizado, caches KV e a escala de treinamento Phi-3 original.

Caminhos de guia relacionadosModelos de linguagem pequena
Pergunta 1 de 8

Qual objetivo de recurso motiva uma implementação de modelo de linguagem compacto?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. Qual objetivo de recurso motiva uma implementação de modelo de linguagem compacto?
    • Guaranteeing it beats every larger model on every task
    • Reducing resource demands for a chosen task and device setup
    • Eliminating the need for all training data
    • Proving every phone runs every checkpoint identically
  2. Que fator de treinamento os estudos Phi citados investigam juntamente com o tamanho do modelo?
    • Curated, filtered or synthetic training-data choices
    • Only random unfiltered data with no objective
    • Removal of all model parameters
    • A requirement to train only at night
  3. O que a destilação do conhecimento professor/aluno treina o aluno para aprender?
    • Only a new image-file extension
    • A guarantee of every possible teacher capability
    • The teacher’s outputs or distributions under a stated objective
    • Only a hardware-temperature label
  4. O que a quantização de peso muda na configuração de armazenamento descrita aqui?
    • Necessarily the number of model parameters
    • The language of every output sentence
    • Only the order of filenames
    • The numerical representation and bits used for weights
  5. Qual operação de compactação remove ou suprime conexões de rede selecionadas?
    • Poda
    • Only changing a prompt’s font
    • Only enlarging the vocabulary
    • Only retaining every weight at its original value
  6. What work does a key-value attention cache avoid repeating during autoregressive generation?
    • Every possible future training operation
    • All text-tokenization work for every application
    • Recomputing prior keys and values for subsequent token processing
    • The need to retain any state at all
  7. Ignoring all overhead, how much raw storage is needed for 3.8 billion scalar weights packed at 4 bits each?
    • 3.8 billion bytes
    • 15.2 billion bytes
    • 0.475 billion bytes
    • 1.9 billion bytes
  8. How many training tokens does the original Phi-3 report state for phi-3-mini?
    • 3.8 billion tokens
    • 3.3 trillion tokens
    • Only 3.3 million tokens
    • No training-token count was stated