Agentforce Testing Center - 代理测试中心

Agentforce Testing Center 完整指南:手动 vs 自动化测试、CSV 模板、AI 生成、结果解读、故障排查,帮助你建立可信任的 AI 代理。...

📅 2025/8/24 ✍️ ponybai 🏷️ agentforce, testing

Agentforce Testing Center

Agentforce Testing Center 让你在上线前对代理建立信心。本模块涵盖手动 vs 自动化测试、设置测试标准、CSV 模板与批量测试、使用 AI 生成测试、以及解读结果与故障排查。

Test Agents for Trust

在推出 AI 代理之前,你需要确信它在每种情况下都能正确工作。Testing Center 提供了规模化测试的能力。信任不是凭空而来的——它是通过系统化的测试建立起来的。

Agentforce 将信任作为第一价值,Testing Center 正是这一承诺的体现——让每个代理在上线前都经过充分验证。

Manual vs. Automated Testing

手动测试:在 Agentforce Builder 的 Conversation Preview 面板中输入单个提示并检查响应。适合快速验证和探索性测试,但无法规模化——你只能一次测试一个场景。虽然这是调试和验证的好方法,但手动测试耗时长且难以覆盖所有可能场景。

自动化测试(Testing Center):批量处理大量 utterances(用户输入),如 "Show me all the open opportunities for the ACME account"。每次测试执行一个 utterance,结合多个 utterances 与期望响应构建测试批次。自动化测试让你快速识别回归问题、验证代理在多种场景下的一致性、在部署前建立量化的信心指标。测试可重复使用,随着代理演进持续添加。

Testing Center Overview, Limits & Deployment

Testing Center 核心能力:批量运行 CSV 测试、AI 生成测试场景、每次最多 1,000 个用例、10 小时窗口内最多 10 个测试作业。测试结果包含通过/失败状态、匹配的 topic 和 action、响应时间等详细信息。

Deploy with Confidence:测试完成后即可使用 Change Sets、DevOps Center 或 Salesforce CLI 将变更迁移到生产环境,不用担心中断业务或破坏客户数据。

关注点:成本 — 测试消耗的请求和额度与客户使用相同(即使 sandbox 也如此),但不测试的成本可能更高安全 — 测试可能修改 CRM 数据,务必仅在 sandbox 中运行。限制 — 10 小时窗口内最多 10 个测试作业,每次最多 1,000 个测试用例。

What to Test - Positive & Negative Scenarios

有效的测试策略需要覆盖两类场景:Positive Scenarios — 用户提出代理应该能够处理的典型请求(如"我的订单状态是什么?"),验证代理返回正确的 topic 和 action。Negative Scenarios — 用户提出代理不应处理的请求或边界情况(如模糊查询、越权请求),验证代理优雅降级或升级给人工。两类场景的组合确保代理在各种真实世界情况下都能可靠运行。

The CSV Test Template - Structure & Setup

前置准备:注册免费的 Developer Edition org with Testing Center;Setup → Einstein Setup → 确认 Einstein 开启;Setup → Salesforce Go → 搜索并启用 Agentforce (Default)

Testing Center 使用 CSV 模板定义测试用例:Setup → Testing Center → New Test → 点击 Template 链接下载 testing_template.csv。模板包含关键列:

  • Utterance(用户输入文本 — 必填)
  • Expected Topic(代理应选择的 topic API 名称)
  • Expected Action(代理应执行的操作 API 名称)
  • 可选: Context Variables、Conversation History

重要:空字段被视为失败;使用 API 名称而非标签;确保 Utterances 列和至少一个附加列有值。

Permissions & Running Your Tests

权限要求:Legacy Testing Center (Setup) 需要 Manage AI Agents + Access Testing Center。新的 Agentforce Studio (Beta) 通过 App Launcher → Agentforce Studio → Tests 访问。

上传并运行测试:1) Setup → Testing Center → New Test → 命名(如 Test Agentforce v1);2) 选择代理 → 填写描述 → Next → Next;3) Upload Test Cases → 选择 CSV 文件 → Done;4) Next → Save。

提示:使用版本号命名测试便于区分。测试完成后下载结果 CSV 进行离线分析。在 sandbox 中反复运行测试直到通过率达到目标。

Let AI Generate Your Tests

除了手动编写 CSV,Testing Center 还可以使用生成式 AI 自动创建测试用例。只需选择要测试的 topics 并提供简短的描述,AI 会生成多样化的 utterances 覆盖不同场景。

创建 AI 生成的测试套件:1) App Launcher → Agentforce Studio → Tests → New Suite;2) 命名(如 Generated Test Agentforce v1);3) 选择代理并填写描述;4) Next → Next → Generate Test Cases;5) 设置数量(如 20)和描述(如 "Generate realistic inquiries about user accounts, orders, and products");6) 选择 Subagents and Actions assigned to the agent → Next → Generate Test Cases。

批量测试工作流:定义测试套件 → AI/手动生成用例 → 自动并行运行 → 查看代理选择的 subagents 和 actions → Builder 手动测试和故障排查 → 调整 instructions 和 guardrails → 重新运行验证。这种迭代循环让你在部署前不断精炼代理行为。

两种生成方式:Topics and Actions(最多 1,000 个)、Agentforce Data Library(最多 100 个)。最佳实践:在描述中包含具体示例以引导 AI 生成更相关的测试用例。可定义 Positive/Negative 用例比例增加多样性。

Interpreting Test Results

查看结果:App Launcher → Agentforce Studio → Tests → 选择测试套件 → Run history(显示每次运行的 Status、Results、Run By)。绿色 = 通过(代理选择了正确的 Topic/Action);红色 = 失败(点击查看与期望值的差异)。

结果面板汇总整体通过率、失败数、待处理数。下载 CSV 结果文件进行深入分析,识别需要改进的模式。

Troubleshoot with Agentforce Builder

当测试失败时,使用 Agentforce Builder 进行根因分析:

  1. Setup → Agentforce Agents → 选择代理 → Open in Builder
  2. 在 Conversation Preview 中手动输入失败的 utterance 测试(例如:Please update the email address for Ilsa Galgey to new_email@example.com.
  3. 观察代理响应——查看 Session Started、User Prompt、Subagent Selected 等
  4. 检查 Topic 的 Classification Description 和 Instructions 是否清晰准确
  5. 调整 Instructions 或添加新训练数据 → 重新运行测试验证

迭代改进是建立可靠代理的关键——每次更新后重新运行测试套件确保无回归。

Testing Benefits & Resources

Testing Center 为代理开发带来三大核心价值1) 速度 — 从手动逐个测试到批量自动化,开发周期大幅缩短。2) 信心 — 在上线前量化验证代理准确率,减少生产环境意外。3) 持续改进 — 每次更新代理后重新运行测试套件,确保不会引入回归。


文章来源:Trailhead - Agentforce Testing Center