Standard Expectations & Quality Metrics

ADG001 - Test Agents API

📄 第 191 页 🎬 视频课程

课程章节介绍

好,同学们,咱们现在来看这一页内容,讲的是怎么去验证我们Agent的行为是否符合预期。听起来有点抽象?没关系,我一步步拆开说,你会觉得很简单。 我们有一个工具,叫“标准期望”,它是用来测Agent的特定行为的。比如你设计了Agent回答用户问题,但你怎么知道它按你想的做了?就得靠这些检查。 第一种检查叫 ,topic_order_match,,它查的是Agent有没有调用正确的子代理。如果你期望它某一步该用“客服子代理”,结果它跑去用“销售子代理”了,这个检查就会失败。 第二种 ,action_order_match,,是验证Agent调用了哪些具体操作。你想测它不应做任何操作时,就在这个检查里用 `[]` 空数组,代表“我预期没有任何操作”。如果它居然调了某个接口,就算失败。 第三种 ,bot_respect_rating,,是做语义比较的,不是死板比对文字,而是看回答的核心含义对不对。比如你问“怎么退货”,它回答“您需要先申请退货授权码”,只要意思到位,哪怕措辞不一样,这个检查也会通过。它不要求一字不差。 另外还有一些,质量指标,,它们不需要像前面那样填 `expectedValue` 字段。这些是什么呢? - ,连贯性,(coherence):看回答读起来顺不顺,有没有逻辑混乱。 - ,完整性,(completeness):信息覆盖全不全,别漏了用户需要的关键点。 - ,简洁性,(conciseness):越精简越好,不啰嗦。 - ,响应时间,(put_latency_mills):纯粹测快慢,单位是毫秒。 - ,启动可及性,(initiation_accessibility):评估Agent是不是严格按照子代理给的指令去回应,并且会给出高、低或不确定这样的评分。 所以你看到,我们既能测行为步骤对不对,也能测回答的质量好不好。把这些组合起来,就能很稳地保证Agent的表现。这块理解了吗?没问题的话我们接着往下走。

关键词

Agentforce Salesforce