Cuestionario vinculado a una guía · Medio Nivel

Prueba rápida de versiones y pruebas de regresión

Prueba lo que pertenece a una configuración de avisos versionada, cómo las suites de regresión manejan el no determinismo y por qué es necesario fijar las instantáneas del modelo y los jueces de LLM.

Rutas de guía relacionadasVersiones rápidas y pruebas de regresión
Pregunta 1 de 8

¿Qué conjunto de elementos se deben versionar juntos como una configuración rápida?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué conjunto de elementos se deben versionar juntos como una configuración rápida?
    • Only the prompt wording
    • Only the model name
    • Prompt template, model identifier, sampling parameters and tool schemas
    • Only the user inputs from production
  2. ¿Por qué fijar una instantánea del modelo con fecha en lugar de un alias genérico más reciente?
    • So model changes happen only when you deliberately switch and re-test
    • Because aliases are always slower
    • Because snapshots are free
    • Because aliases do not support system prompts
  3. ¿Qué dice la guía sobre la temperatura 0?
    • It guarantees identical outputs every time
    • It makes regression testing unnecessary
    • It only affects the length of outputs
    • It reduces randomness but does not guarantee identical outputs across runs
  4. ¿Cómo debería manejar una suite de regresión resultados no deterministas?
    • Require exact string matches
    • Use thresholds and repeated samples instead of exact equality
    • Ignore any failing cases
    • Only test with a single example
  5. ¿Cuál es una fuente importante de nuevos casos de prueba para un conjunto dorado?
    • Past production failures turned into test cases
    • Random text from the web
    • Only cases the current prompt already passes
    • Outputs copied from a competitor
  6. If an LLM judge grades outputs, what should you do?
    • Let the judge model change freely
    • Trust every verdict without review
    • Pin the judge's model and prompt and check it against human labels
    • Use the same prompt under test as the judge
  7. Why log the prompt version ID with each production request?
    • To reduce token costs
    • To improve model accuracy
    • To satisfy the model provider's terms
    • To tie problems to a specific deploy and roll back quickly
  8. Why list individual cases that flipped from pass to fail rather than only the average score?
    • Averages are always wrong
    • An unchanged average can hide new breakage offset by gains elsewhere
    • Flipped cases reduce API costs
    • Only flipped cases are graded