自动提示优化和 DSPy

手动调整的提示有一个已知的弱点。适用于一种模型、数据集或版本的措辞可能会悄悄停止适用于另一种模型、数据集或版本，并且通常仅根据少数示例来判断更改。自动提示优化用搜索取代了该循环。您提供三样东西： - 一项任务。 - 一组输入，最好具有预期输出。 - 指标，例如完全匹配或由另一个模型评分的评分标准。优化器生成候选提示，运行它们，对它们进行评分并保留获胜者。早期的例子使这个想法变得具体。 APE（自动提示工程师，Zhou 等人，2022）有一个模型从输入输出示例中提出许多指令，然后保留得分最高的指令。 OPRO（Optimization by PROmpting, Yang et al., Google DeepMind, 2023）使用 LLM 作为优化器。它的元提示列出了早期的指令及其分数，并且该模型提出了新的指令。 OPRO 发现了诸如“深吸一口气，逐步解决这个问题”之类的指令，这些指令对于小学数学的一个特定模型来说得分很高。优化的措辞可能不直观并且特定于模型。 DSPy 更进一步，改变了程序的编写方式。它由 Omar Khattab 和合作者在斯坦福大学 NLP 开发，并于 2023 年推出。您可以使用签名声明每个步骤的作用，例如“问题、上下文 -> 答案”，并组合 Predict 或 ChainOfThought 等模块。然后，优化器（以前称为提词器）（例如 BootstrapFewShot 或 MIPROv2）通过为每个模块选择演示和指令来“编译”程序，以最大化您的指标。三个误解值得纠正： - 这些工具消除了人类的判断力。他们没有，因为指标和例子定义了“更好”。 - 优化的提示值得信赖。他们可能会过度拟合小数据集。 - 优化是免费的。它需要真正的 API 调用，有时甚至很多。