BYOLLM, Open Connector & Model Selection

DEX801 - 自定义 Lightning 类型(上)

📄 第 252 页 🎬 视频课程

课程章节介绍

同学们,我们来看这一页内容。它讲的是一个很实用的功能,叫 ,自带大语言模型,,也就是 BYOLLM。 你可以把自己的模型——不管是你自己训练的,还是第三方厂商提供的——用你自己的凭证,连接到 Salesforce 平台上。然后,通过统一的 Models API 去调用它。这样做的好处是什么呢?它仍然在我们的完全信任层保护之下,但调用的“爱因斯坦请求”消耗量会减少 30%,帮你省钱。 接下来还有一个更开放的选项,叫 ,LLM Open Connection,。这又是什么概念呢?它把兼容范围扩大到了任何模型,只要那个模型遵循 OpenAI 兼容的 API 规范就行。而且这个是社区驱动的,相关规范就放在 GitHub 上,你可以直接去查看和贡献。 那么,当你要选择一个模型的时候,不能光看名气。我建议大家从四个角度去评估: 第一是 ,能力,,就是这个模型能处理多少种任务,对指令的理解是不是准确、听话。 第二是 ,成本,,你要看它怎么计费,使用成本划不划算。 第三是 ,质量,,可以参考 LMSYS Chatbot Arena 这种公开的模型排行榜,看看大家的真实评分。 第四是 ,速度,,包括延迟和吞吐量,也就是它回答快不快,能不能撑起大量请求。 有一点要注意:如果你开启了数据屏蔽功能,那么模型的上下文窗口会被限制在 ,65,536 个令牌,。这个数你要心里有数,别放太长的文档进去被截断了。 最后,想客观比较不同模型,有很多基准测试资源可以用。除了业界的通用基准,我们还提供了 Salesforce 自己打造的 CRM 专项基准,能帮你评估模型在客户管理场景下的真实表现。 好了,这一页就讲这么多,有没有哪里不清楚的?

关键词

Agentforce Salesforce