提示词调优

理解智能体回复

每个智能体回复都包含元数据，您可以查看这些数据以了解 Themis 是如何得出答案的。

工具调用

当 Themis 在对话中使用外部服务时，您会在回复中看到工具调用指示器。这些显示了调用了哪些工具 —— 例如，从 GitHub 获取 PR 差异、从 Metabase 查询数据，或在 Linear 中创建工单。这种透明性帮助您了解智能体使用了哪些数据。

模型信息

每个回复都显示使用的模型（例如 Claude Sonnet、Claude Opus）。如果您的空间使用双层智能体架构，简单问题可能由更快的一级轻量模型处理，而复杂问题会自动升级到完整的二级模型。

推理日志与统计

展开任何智能体回复上的推理日志，查看完整的执行追踪：

  • 思考步骤 —— 智能体的内部推理过程
  • 工具调用和结果 —— 每次工具调用的输入和输出
  • Token 使用量和费用 —— 消耗了多少 Token 以及估算费用

这对于理解智能体为何给出特定答案以及诊断问题非常有价值。

从收件箱条目继续

每个收件箱条目 —— 不仅仅是对话 —— 都可以扩展为完整的聊天。点击任何条目上的对话按钮，即可开始一个加载了原始上下文的对话：

条目类型您可以做什么
自动化结果讨论发现、提出后续问题、完善分析
代码生成审查生成的代码、请求修改、迭代方案
PR 审查讨论审查评论、请求澄清、探索替代方案
@提及回复继续从 GitHub 或 Linear 发起的对话

新对话继承完整上下文 —— 您无需重新解释发生了什么。

调试自动化

当自动化表现不佳 —— 产生低质量结果、频繁失败或费用过高 —— 使用调试工作流来改进它。

发现问题

前往自动化的详情页，查看执行历史：

  • 频繁失败 —— 智能体遇到错误或陷入循环
  • 费用过高 —— 智能体调用了过多工具或使用了过多 Token
  • 跳过的运行 —— 智能体在不应跳过时跳过了（反之亦然）
  • 推理日志 —— 展开单次运行查看问题出在哪里

改进提示

  1. 打开一个已完成或失败的自动化执行
  2. 点击对话开始一个包含执行上下文的对话
  3. 切换调试模式 —— 这会将完整的推理日志和提示加载到对话中
  4. 让 Themis 分析出了什么问题并建议改进：
    • “为什么这个自动化失败了？我如何改进提示？”
    • “费用太高了。如何让提示更高效？”
    • “输出质量不稳定。是什么原因？”
  5. 将建议的更改应用到您的自动化提示模板中

这种反馈循环是迭代提升自动化质量的最快方式。智能体可以准确看到运行期间发生了什么 —— 调用了哪些工具、推理在哪里偏离了轨道、最终输出是什么样的 —— 并建议有针对性的提示改进。

常见提示问题

症状可能原因修复方法
智能体调用了过多工具提示对要获取的数据描述过于模糊明确指定使用哪些工具以及要查找什么
输出不稳定提示缺乏结构化预期添加明确的输出格式指导
智能体在不应跳过时跳过跳过条件过于宽泛缩小跳过条件范围或移除跳过指令
Token 费用过高智能体获取了过多数据限制范围（例如”仅限过去 24 小时的 PR”）
频繁失败智能体尝试不支持的操作检查推理日志中失败的工具调用并调整提示

更好对话的技巧

  • 要具体 —— “审查这个 PR 的安全问题”比”看看这个 PR”效果更好
  • 提供上下文 —— 粘贴链接、分享文件、提及相关项目或服务
  • 迭代 —— 如果第一个答案不太对，继续追问。Themis 记得完整的对话。
  • 使用正确的入口 —— 从收件箱条目（审查、自动化、代码生成）开始会自动加载上下文，省去重新解释的麻烦
  • 查看推理日志 —— 如果答案似乎不对，展开推理以了解原因并重新引导智能体