แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

การเพิ่มประสิทธิภาพพร้อมท์อัตโนมัติและแบบทดสอบ DSPy

ทดสอบสิ่งที่คุณรู้เกี่ยวกับการให้คะแนนพร้อมท์เทียบกับหน่วยวัด วิธีที่ APE และ OPRO ค้นหาคำแนะนำ และวิธีการทำงานของลายเซ็น DSPy และเครื่องมือเพิ่มประสิทธิภาพ

คำถาม 1 ของ 8

คุณต้องจัดหาอะไรบ้างเพื่อให้การเพิ่มประสิทธิภาพพรอมต์อัตโนมัติทำงานได้

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. คุณต้องจัดหาอะไรบ้างเพื่อให้การเพิ่มประสิทธิภาพพรอมต์อัตโนมัติทำงานได้
    • Only a longer prompt
    • A task, a set of example inputs and a metric to score outputs
    • A fine-tuned model and a GPU cluster
    • A list of banned words
  2. ใน OPRO บทบาทของเครื่องมือเพิ่มประสิทธิภาพมีบทบาทอย่างไร
    • A gradient descent step on the model's weights
    • A human prompt engineer
    • A random search with no feedback
    • An LLM given a meta-prompt listing earlier instructions and their scores
  3. ผลลัพธ์ "หายใจเข้าลึกๆ และแก้ไขปัญหานี้ทีละขั้นตอน" ของ OPRO แสดงให้เห็นอะไร
    • Optimized wording can be unintuitive and specific to a model
    • Breathing instructions work for every model
    • Math tasks do not need prompts
    • OPRO only works for writing tasks
  4. ลายเซ็น DSPy คืออะไร?
    • A cryptographic key for the API
    • A model's version number
    • A declaration of a step's inputs and outputs, such as "question, context -> answer"
    • A watermark on generated text
  5. BootstrapFewShot ของ DSPy ได้รับการสาธิตอย่างไร
    • It downloads examples from the internet
    • It runs the program on training inputs and keeps the traces where the metric passes
    • It asks the user to label every intermediate step
    • It uses the longest available examples
  6. Why should you keep a separate held-out set when optimizing prompts?
    • To reduce the size of the prompt
    • To make the optimizer run faster
    • It is required by the API
    • To check whether the optimized prompt has overfit the training examples
  7. What were DSPy's optimizers called earlier?
    • Teleprompters
    • Compilers
    • Tokenizers
    • Retrievers
  8. What approach did APE (Automatic Prompt Engineer) take?
    • It fine-tuned model weights on instructions
    • It hand-wrote prompts from expert interviews
    • It had a model propose instructions from input-output examples and kept the highest-scoring ones
    • It removed instructions entirely