课程概述

本课程整合了Prompt效果评估体系与成本优化两大主题，帮助你在保证质量的前提下，实现成本效益最大化。

学习目标：

• 掌握Prompt效果评估的核心方法
• 理解LLM-as-a-Judge评估模式
• 学会Token消耗分析与优化技术
• 能够在质量与成本之间找到平衡点

---

第一部分：效果评估体系

课程概述

本课程将深入讲解如何用Prompt设计和实现AI提示词效果评估体系，涵盖评估指标Prompt、测试用例设计Prompt、LLM-as-a-Judge评估Prompt、持续监控Prompt以及A/B测试Prompt等核心技术。

学习目标

• 掌握用Prompt设计评估指标的方法
• 理解LLM-as-a-Judge的Prompt实现
• 学会设计测试用例的生成Prompt
• 掌握A/B测试的Prompt协调方法

---

第一部分：用Prompt设计评估指标

1.1 Prompt评估的三大核心维度

用Prompt设计评估需要从多个维度考量：

维度	核心指标	Prompt评估方法	目标值
Quality(质量)	Correctness、Faithfulness、Relevance	LLM-as-a-Judge Prompt	>85%
Consistency(一致性)	跨请求稳定性、多版本一致性	重复测试Prompt、统计Prompt	<10%方差
Cost(成本)	Token消耗、延迟、API成本	成本计算Prompt、优化建议Prompt	优化30%+

1.2 质量指标Prompt设计

1.2.1 Correctness(正确性)评估Prompt

精确匹配评估Prompt：

你是评估专家。

【任务】
评估AI的回答是否正确。

【问题】
[question]

【标准答案】
[ground_truth]

【AI回答】
[ai_response]

【评估标准】
1. 完全匹配：AI回答与标准答案完全一致 → 1分
2. 语义等价：AI回答意思与标准答案相同 → 0.8-0.9分
3. 部分正确：AI回答包含部分正确信息 → 0.5-0.7分
4. 完全错误：AI回答与标准答案不符 → 0分

【输出格式】
[
  "score": 0-1之间的分数,
  "reasoning": "评分理由",
  "issues": ["问题1", "问题2"]
]

LLM-as-a-Judge语义评估Prompt：

你是语义相似度评估专家。

【任务】
评估两个陈述是否语义等价。

【陈述A】
[statement_a]

【陈述B】
[statement_b]

【评估维度】
1. 事实一致性：两陈述描述的事实是否一致
2. 细节完整度：信息详细程度是否相当
3. 表达差异：表述方式的不同是否影响理解

【输出要求】
- 返回0-1之间的相似度分数
- 1表示完全等价，0表示完全不同
- 0.7以上可视为语义等价

【输出格式】
相似度分数: X.XX
理由: [简短说明]

1.2.2 Faithfulness(忠实度)评估Prompt

你是忠实度评估专家。

【任务】
评估AI回答是否忠实于给定的上下文。

【上下文】
[context]

【AI回答】
[ai_response]

【评估要点】
1. 检查回答中的每个事实是否在上下文中出现
2. 识别AI是否"编造"了上下文中没有的信息（幻觉）
3. 检查回答是否遗漏了上下文中的关键信息

【评分标准】
- 完全忠实：所有事实都来自上下文，无遗漏 → 1分
- 基本忠实：大部分事实来自上下文，有少量无关信息 → 0.7-0.9分
- 部分幻觉：存在一些上下文中没有的信息 → 0.4-0.6分
- 严重幻觉：大量编造信息或完全脱离上下文 → 0-0.3分

【输出格式】
[
  "faithfulness_score": 0-1之间的分数,
  "hallucinations": ["幻觉内容1", "幻觉内容2"],
  "missing_info": ["遗漏信息1", "遗漏信息2"],
  "suggestions": ["改进建议1", "改进建议2"]
]

1.2.3 Relevance(相关性)评估Prompt

你是相关性评估专家。

【任务】
评估AI回答是否直接回答了用户的问题。

【用户问题】
[question]

【AI回答】
[ai_response]

【评估维度】
1. 直接性：回答是否直接针对问题核心
2. 完整性：是否完整回答了问题的所有部分
3. 针对性：是否避免了无关的背景信息

【评分标准】
- 高相关性：直接回答，完整覆盖问题 → 0.9-1分
- 中等相关性：回答了问题，但有些绕弯 → 0.7-0.8分
- 低相关性：回答偏题或大量无关信息 → 0.4-0.6分
- 不相关：完全答非所问 → 0-0.3分

【输出格式】
[
  "relevance_score": 0-1之间的分数,
  "directness": "高/中/低",
  "issues": ["问题1", "问题2"],
  "improvement": "如何改进"
]

1.3 传统NLP指标的Prompt评估

虽然传统NLP指标（BLEU、ROUGE等）通常用代码计算，但我们可以用Prompt来解释和应用它们：

BLEU分数解释Prompt：

你是BLEU评分专家。

【任务】
用Prompt模拟BLEU评分逻辑，评估生成文本与参考文本的相似度。

【参考文本】
[reference]

【生成文本】
[generated]

【评估方法】
1. 计算n-gram重合度（1-gram到4-gram）
2. 考虑简洁性惩罚（过短文本降权）
3. 综合多个n-gram的几何平均

【输出要求】
- 估算BLEU分数（0-100）
- 说明主要匹配的n-gram类型
- 指出主要差异

【输出格式】
估算BLEU分数: XX
主要匹配: [匹配内容]
主要差异: [差异内容]

余弦相似度评估Prompt：

你是语义相似度评估专家。

【任务】
评估两段文本的语义相似度（模拟向量余弦相似度）。

【文本A】
[text_a]

【文本B】
[text_b]

【评估方法】
1. 识别两段文本的核心主题
2. 比较关键词重叠度
3. 评估语义方向的相似性
4. 考虑情感倾向的一致性

【输出要求】
- 返回0-1之间的相似度分数
- 说明相似的具体维度

【输出格式】
相似度: 0.XX
主题相似: [分析]
关键词重叠: [分析]
情感倾向: [分析]

1.4 一致性指标Prompt设计

你是一致性评估专家。

【任务】
评估Prompt在不同条件下的输出稳定性。

【测试配置】
- 测试输入: [test_input]
- 重复次数: [num_runs]次
- 温度参数: [temperature]

【多次运行结果】
[results]

【评估维度】
1. 输出多样性：不同运行结果的差异程度
2. 核心一致性：核心信息是否保持稳定
3. 格式一致性：输出格式是否统一

【输出要求】
- 计算一致性分数（1-所有差异/总运行数）
- 识别稳定和不稳定的部分

【输出格式】
[
  "consistency_score": 0-1之间的分数,
  "stable_parts": ["稳定部分1", "稳定部分2"],
  "variable_parts": ["变化部分1", "变化部分2"],
  "recommendation": "改进建议"
]

1.5 成本指标Prompt设计

你是成本分析专家。

【任务】
分析Prompt使用的经济成本，并提供优化建议。

【Prompt内容】
[prompt_content]

【使用统计】
- 输入token数: [input_tokens]
- 输出token数: [output_tokens]
- 模型: [model]
- 调用次数: [num_calls]

【计费规则】
- GPT-4o: 输入$0.005/1K tokens, 输出$0.015/1K tokens
- GPT-4o-mini: 输入$0.00015/1K tokens, 输出$0.0006/1K tokens

【分析要求】
1. 计算单次调用成本
2. 估算批量调用成本（1000次、10000次）
3. 识别可优化的部分
4. 提供具体的成本优化建议

【输出格式】
[
  "cost_analysis": [
    "single_call": "$X.XXXX",
    "cost_per_1k": "$X.XX",
    "cost_per_10k": "$X.XX"
  ],
  "token_breakdown": [
    "input_tokens": 数量,
    "output_tokens": 数量,
    "total_tokens": 数量
  ],
  "optimization_suggestions": [
    "建议1: 减少X个token",
    "建议2: 删除冗余内容",
    "建议3: 使用更简洁的表达"
  ],
  "potential_savings": "预计可节省X%"
]

---

第二部分：测试用例设计Prompt

2.1 测试用例生成Prompt

黄金数据集创建Prompt：

你是测试用例设计专家。

【任务】
为以下Prompt创建高质量的测试用例（黄金数据集）。

【待测试Prompt】
[prompt_to_test]

【测试用例要求】
1. 覆盖正常场景、边界场景、异常场景
2. 每个用例包含输入、期望输出、评估标准
3. 用例应具有代表性和可复现性

【用例结构】
```json
[
  "id": "test_001",
  "category": "类别",
  "input": "测试输入",
  "expected_output": "期望输出",
  "evaluation_criteria": [
    "min_length": 最小长度,
    "must_contain": ["必须包含的关键词"],
    "forbidden_terms": ["禁止出现的词"],
    "quality_standards": "质量标准描述"
  ]
]
```text

【输出要求】
- 生成10-20个测试用例
- 覆盖至少5个不同类别
- 每个用例清晰可评估

请开始创建测试用例：

合成数据生成Prompt：

你是测试数据生成专家。

【任务】
基于基础输入生成语义等价的测试变体。

【基础输入】
[base_input]

【生成要求】
1. 保持核心意图不变
2. 使用不同的表达方式（正式/非正式/不同长度）
3. 包含边界情况（极端简短/冗长/错别字）
4. 生成5-10个变体

【输出格式】
[
  [
    "variation": "变体内容",
    "type": "正式/非正式/简洁/冗长/边界",
    "description": "变体特点说明"
  ]
]

对抗性测试Prompt：

你是安全测试专家。

【任务】
为以下Prompt设计对抗性测试用例，发现潜在安全问题。

【待测试Prompt】
[prompt_to_test]

【攻击类型】
1. Prompt注入（忽略指令、泄露系统信息）
2. 越狱尝试（角色扮演、开发者模式）
3. 上下文操纵（虚假历史、推翻假设）
4. 信息提取（敏感信息、配置泄露）

【输出格式】
[
  "attack_type": "攻击类型",
  "payload": "攻击载荷",
  "description": "攻击描述",
  "expected_behavior": "安全行为的预期"
]

【安全要求】
- 仅用于防御性测试
- 不应用于恶意目的
- 测试后修复发现的漏洞

2.2 多轮对话测试Prompt

你是对话测试专家。

【任务】
设计多轮对话测试场景，评估对话连贯性。

【对话系统】
[system_description]

【测试场景设计】
1. 单一主题的多轮深入对话
2. 话题切换场景
3. 信息延续性测试
4. 上下文理解测试

【测试用例结构】
[
  "scenario_id": "scenario_001",
  "description": "场景描述",
  "turns": [
    [
      "turn": 1,
      "user_input": "用户输入",
      "expected_response_type": "期望类型（问候/澄清/回答/确认）",
      "context_requirement": "需要记住的信息"
    ],
    [
      "turn": 2,
      "user_input": "用户输入",
      "expected_response_type": "期望类型",
      "context_requirement": "应该引用之前的信息"
    ]
  ],
  "success_criteria": [
    "coherence": "连贯性要求",
    "context_retention": "上下文保持要求"
  ]
]

【输出要求】
- 设计3-5个场景
- 每个场景3-7轮对话
- 明确每轮的评估标准

---

第三部分：LLM-as-a-Judge评估Prompt

3.1 通用评估框架Prompt

你是AI输出质量评估专家。

【角色定位】
你是一个客观、专业的评估者，负责评判AI生成内容的质量。

【评估对象】
待评估的AI回答：
[ai_response]

【参考标准】
参考答案（如有）：
[reference_answer]

【评估维度】

1. 正确性（Correctness）- 权重：30%
   - 事实是否准确
   - 逻辑是否正确
   - 是否存在错误信息

2. 完整性（Completeness）- 权重：25%
   - 是否回答了问题的所有部分
   - 是否遗漏关键信息
   - 是否提供了充分的细节

3. 清晰性（Clarity）- 权重：20%
   - 表达是否清楚
   - 结构是否合理
   - 是否易于理解

4. 相关性（Relevance）- 权重：15%
   - 是否针对问题核心
   - 是否包含无关信息
   - 是否直接回答

5. 有用性（Helpfulness）- 权重：10%
   - 是否真正帮助用户
   - 是否提供可操作的建议
   - 是否满足用户需求

【评分标准】
- 优秀（90-100分）：各方面都表现出色
- 良好（75-89分）：大部分方面表现良好
- 及格（60-74分）：基本满足要求，有明显改进空间
- 不及格（0-59分）：存在严重问题

【输出格式】
## 评估报告

### 总体评分：XX/100

### 分项评分
- 正确性：XX/30
- 完整性：XX/25
- 清晰性：XX/20
- 相关性：XX/15
- 有用性：XX/10

### 详细分析
**优点**：
- 优点1
- 优点2

**问题**：
- 问题1
- 问题2

### 改进建议
1. 建议一
2. 建议二

3.2 专用评估Prompt模板

代码生成评估Prompt：

你是代码质量评估专家。

【任务】
评估生成的代码质量。

【需求描述】
[requirements]

【生成的代码】

[generated_code]

【评估维度】
1. 功能正确性：是否实现需求
2. 代码质量：可读性、可维护性
3. 最佳实践：是否符合规范
4. 边界处理：错误处理、边界情况
5. 性能考虑：时间复杂度、空间复杂度

【输出格式】
[
  "overall_score": 0-100,
  "functionality": ["score": 0-30, "issues": [], "praise": []],
  "code_quality": ["score": 0-25, "issues": [], "praise": []],
  "best_practices": ["score": 0-20, "issues": [], "praise": []],
  "error_handling": ["score": 0-15, "issues": [], "praise": []],
  "performance": ["score": 0-10, "issues": [], "praise": []],
  "suggestions": ["改进建议1", "改进建议2"]
]

摘要生成评估Prompt：