DSPy 学习笔记1

DSPy 框架概述

引言

DSPy 是一个用于构建和优化语言模型的框架，特别适用于需要复杂推理和决

策的场景。本文整理自一篇关于 DSPy 框架的技术文章，详细探讨了该框架

的核心组件、使用方法以及优化策略。

关键知识点总结

1. 语言模型访问

DSPy 允许通过 dspy.LM 访问本地和远程模型端点。这依赖于 LiteLLM 将不

同的客户端 API 转换为一个兼容的 OpenAI 接口。

sglang_port = 7501

sglang_url = f"http://localhost:{sglang_port}/v1"

sglang_llama = dspy.LM("openai/meta-llama/Meta-Llama-3-8B

Instruct", api_base=sglang_url)

2. 签名 (Signatures)

签名是 DSPy 模块输入输出行为的一种声明性描述。签名允许你告诉语言模

型 (LM) 它需要做什么，而不是说明我们应如何要求 LM 去做。

summarize = dspy.ChainOfThought('question -> answer')

response = summarize(question=question, demos=[example])

3. 模块 (Modules)DSPy 提供了多种模块来处理不同的任务需求：

dspy.Predict: 基础预测器，不会修改签名。

dspy.ChainOfThought: 使 LM 在做出签名响应之前考虑步骤。

dspy.ProgramOfThought: 使 LM 输出代码，其执行结果将决定响应。

dspy.ReAct: 能够使用工具实现给定签名的代理。

dspy.MultiChainComparison: 可以比较 ChainOfThought 的多个输出

以生成最终预测。

此外，还有一些函数样式模块，如 dspy.majority ，用于进行基本投票。

4. 数据 (Data)

在 DSPy 中，示例对象有一个 with_inputs() 方法，用于标记特定的字段为

输入。

dspy.Example({'question': 'This is a question?', 'answer':

'This is an answer.'}).with_inputs('question')

5. 指标 (Metrics)

DSPy 提供了多种内置指标来评估系统输出，如

def validate_context_and_answer(example, pred, trace=None):

pred.context)

return answer_match and context_match

6. 优化器 (Optimizers)DSPy 提供了优化器来改进模型的性能。通过 BootstrapFewShot 优化器，

可以调整训练集长度并优化模型。

teleprompter = BootstrapFewShot(metric=answer_exact_match,

**config)

optimized_cot = teleprompter.compile(cot, trainset=train_set)

7. 优化结果保存与加载

优化结果可以保存为 JSON 文件，以便下次加载使用。

分析与讨论

DSPy 框架通过模块化和声明性的方式简化了复杂语言模型的构建和优化过

程。其提供的多种模块和优化器使得开发者可以根据具体需求灵活调整模型

行为。然而，如何选择合适的模块和优化策略仍然是一个挑战，需要根据具

体任务和数据集进行实验和调整。

结论

本文通过对 DSPy 框架的整理，总结了其核心组件、使用方法以及优化策

略。DSPy 提供了一个强大的工具集，使得开发者可以更高效地构建和优化语

言模型。未来研究应重点关注如何进一步简化模块选择和优化策略，以提高

开发效率和模型性能。