课程章节介绍
同学们,我们来看一下自定义评估这个功能。简单说,它就是让我们能够精确地检查Agent生成的测试输出里的某个具体值,看看是不是符合预期。
怎么做到呢?首先你运行测试的时候,加一个--verbose参数,这样系统就会把生成的数据详细打印出来。拿到数据后,你就能看到里面的结构,然后写一个JSONPath表达式,这个表达式就像是一个路径,能直接定位到你关心的那个数据点。
接着,你就可以用比较运算符,比如“等于”或者“不等于”,来判断这个值是不是正确的。
这里还有一个很重要的能力——它支持多轮对话的测试。也就是说,我们不是只测一句孤立的问答,而是可以把整个对话上下文带进去测试。测试用例里可以包含角色的消息对,而且我们还能让代理消息指定它使用的是哪个子代理,也就是哪个主题或技能。这对那些依赖上下文的复杂对话流程来说,真的特别关键。
这样一来,我们就能更真实地模拟用户和Agent的交互,确保对话逻辑走得通。好,这部分就是自定义评估的核心要点。