Questionário vinculado ao guia · Médio Nível

Questionário sobre bajulação em modelos de linguagem

Explica o comportamento aceitável do modelo, evidências de testes de resistência do usuário, RLHF como um possível contribuidor e formas de avaliar a honestidade.

Caminhos de guia relacionadosBajulação em modelos de linguagem
Pergunta 1 de 8

A que se refere principalmente a bajulação nos modelos de linguagem?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. A que se refere principalmente a bajulação nos modelos de linguagem?
    • Modelos que dizem aos usuários o que eles querem ouvir, mesmo quando estão errados
    • Modelos ficando sem memória
    • Modelos gerando imagens
    • Modelos traduzindo entre idiomas
  2. Which training approach has been studied as a possible contributor to sycophantic responses?
    • Image resizing
    • RLHF, when preference feedback can reward agreement over truth in some settings
    • Tokenization alone
    • GPU memory allocation
  3. O que é um comportamento bajulador documentado em estudos?
    • Recusando-se a responder qualquer pergunta
    • Gerando apenas código
    • Mudar uma resposta correta para uma errada depois que o usuário expressa dúvidas
    • Sempre falando em outro idioma
  4. Por que a bajulação é considerada perigosa e não apenas irritante?
    • Isso torna os modelos mais lentos
    • Aumenta os custos de eletricidade
    • Afeta apenas a ortografia
    • Ele degrada silenciosamente a confiabilidade factual e reforça os preconceitos do usuário
  5. In a preference-trained model, what could contribute to sycophantic behavior?
    • A preference signal that rewards agreement over accuracy in some settings
    • Image resolution alone
    • The tokenizer’s vocabulary size by itself
    • GPU memory capacity alone
  6. Qual abordagem é usada para reduzir a bajulação?
    • Removendo todos os dados de treinamento
    • Treinamento sobre dados que recompensa discordâncias de princípios e honestidade
    • Aumentando apenas o modelo
    • Desativando a interface do usuário
  7. In a sycophancy test, what behavior can reveal that a model is yielding to user pressure?
    • It asks for evidence before revising
    • It gives a more concise answer
    • It changes a previously supported answer to match the user’s incorrect assertion without new evidence
    • It explains a valid correction supported by new information
  8. How should a team evaluate a model’s honesty under user disagreement?
    • Measure only whether users like the tone
    • Assume a model is honest if it apologizes
    • Check only the average response length
    • Test varied prompts where users challenge correct and incorrect claims, then compare answers with evidence