Custom Scorer Definition & Deployment

ADG001 - Test Agents API

📄 第 195 页 🎬 视频课程

课程章节介绍

同学们,接下来我们来看一下自定义评分器这个知识点。这部分可能听起来有点技术性,但别担心,我会用最简单的方式帮你们理清思路。 想象一下,你做了一个Agent,你想测试它表现得好不好,这时候就需要一个“评分器”来打分。在Agentforce里,我们可以用自定义评分器来实现。这个评分器的元数据类型叫做 ,AiAgentScorerDefinition,,这就是定义它的那个官方名字。 那么,这个评分器长什么样呢?它有几个关键的概念。 首先,每个评分器都有一个,输入范围,,就是它要评“什么尺度”的表现。比如,你可以让它看完一整个会话后给出一个总体评价,这叫“完整评估的会话”;也可以让它看每一轮用户和Agent的对话来打分,也就是“每回合的交互”;甚至还可以细到看Agent每一个具体的动作,这叫“每动作的时刻”。所以,粒度是可以选的。 接下来,评分器还需要指定,数据类型,和,版本化的配置,。版本化配置的意思是,你可以不断优化你的评分规则,但旧版本会被保留,这样我们能回溯和改进,但不能删除版本,这点要注意。 然后,评分器内部有个“引擎”,目前这个引擎被限定为 ,Inbox 模板类型,。简单说,就是评分器要使用一个预定义的提示模板,这个模板通过它的API名称来引用。也就是说,你要先有一个写好的提示模板,评分器才知道按什么标准去评。 评分的结果是怎么呈现的呢?这里有,输出映射,,它会把引擎打出的原始分数,转换成我们容易看懂的结果,比如:,通过、失败、不适用,。这样就很清晰了。 另外,评分规范里面还可以定义一些数字限制,比如,最小值、最大值、步长限制,,还能设置一个可选的,阈值,。举个例子,你设定满分10分,6分以上算通过,那阈值就是6。 最后,部署这样一个自定义评分器,项目结构是有要求的。因为元数据API是,按顺序部署,的,所以你的`package.xml`文件里,必须把GenAi模板列在AiAgentScorerDefinition,之前,。顺序错了可就部署不上去,到时候记得检查一下。 好了,关于自定义评分器的核心点我们就讲完了。简单总结就是:用AiAgentScorerDefinition定义一个评分器,选好评分的粒度,绑定一个提示模板,输出成通过或失败,部署时注意顺序。大家先理解到这个程度就足够了。

关键词

Agentforce Salesforce