Batch Data Transforms in Data 360 Quick Look | Data 360 批量数据转换速览

Batch Data Transforms in Data 360 Quick Look 模块介绍批处理数据转换:与流式转换的区别、适用场景(计算仪表板指标、标准化取值、丰富数据源),以及可视化编辑器中的九种节点类型(Input、Filter、Join、Aggregate、Transform 等),并通过动手挑战构建一条 Input → Filter → Join → Aggregate → Output 的完整转换管道,算出按行业的大单总额。...

📅 2026/7/15 ✍️ ponybai 🏷️ data-360, salesforce

一、开始使用 Batch Data Transforms in Data 360(Get Started)

Batch Data Transforms 简介(Introducing Batch Data Transforms)

在 Data 360 中,数据通过数据流(data stream)进入并存储在数据湖对象(data lake object,DLO)中。DLO 是摄入 Data 360 的数据的存储容器。数据转换(data transform)让你访问一个或多个 DLO 中的数据,并对其进行转换,创建你自己的数据集;它也可以转换已映射到数据模型对象(DMO)的数据。

批处理 vs 流式:与持续运行的流式数据转换(基于 SQL 语句)不同,批处理数据转换(batch data transform)计划运行,并且提供更丰富的功能——它包含一个可视化编辑器,让你组合多个 DLO 的数据、用函数创建计算字段,并把数据输出到多个 DLO。

何时使用 Batch Data Transform(When to Use a Batch Data Transform)

当你需要复杂的数据转换、或需要数据按计划更新时,使用批处理数据转换。在批处理转换中,你可以 join、aggregate、append 数据,也可以使用公式和过滤器。以下是几个适用场景:

  • 为仪表板计算指标:把原始摄入数据转换为可用的 KPI,如聚合值和计算出的公式(赢单率、客户终身价值等)。
  • 标准化取值:把不一致的摄入值(如「Salesforce」「salesforce.com」「SFDC」)合并为单一、统一的值。
  • 用其他数据源丰富:组合 CRM、薪酬、用量日志、客户记录等多个来源的数据,用于身份解析和计算洞察等 Data 360 服务。

Batch Data Transform 如何工作(How Does a Batch Data Transform Work?)

使用可视化编辑器,你通过拖放节点(nodes)来创建所需数据,每个节点代表过程中的一个步骤——它们分别代表源数据、目标数据,以及你对数据执行的各种操作。以下是可选的节点类型及其作用:

  • Input(输入):包含 DLO 或 DMO 中的源数据。
  • Filter(过滤):移除目标数据中不需要的行。
  • Join(连接):通过查找或连接把两个输入分支连接起来,每个分支必须提供一个键字段(例如客户数据输入节点和票务销售节点都有 customer ID 字段)。
  • Aggregate(聚合):用 Average、Count、Maximum、Minimum、Stddevp、Stddev、Sum、Unique、Varp、Var 等函数把数据汇总到更高粒度。
  • Transform(转换):用函数操作数据——计算值、修改字符串、格式化日期、分桶、删除列、处理 JSON 值等。
  • Append(追加):合并多组数据的行。
  • Update(更新):当键对匹配时,用另一个数据源的数据交换列值。
  • AI Functions(AI 函数):用 AI Models(原 Einstein Studio)中的模型做预测。
  • Output(输出):包含 DLO 或 DMO 中的转换后数据。

节点按顺序连接:Input → Filter → Join → Aggregate → Output,构成一条完整的转换管道。

动手挑战:创建 Batch Data Transform(Hands-On Challenge)

本模块的动手挑战是构建一个转换,展示按行业的销售大单(total large sales by industry)——结合 Opportunity 和 Account 数据。挑战分三步:步骤 1 创建 Playground;步骤 2 创建数据流(Sales 数据包);步骤 3 在可视化编辑器中用 Input → Filter → Join → Aggregate → Output 节点创建批处理转换。最终输出是一个名为 Large Sales by Industry 的 DLO,展示哪些行业驱动你最大的交易(超过 $30,000 的商机)。

步骤 1:创建 Playground(Create your Playground)

获取一个包含 Data 360 和样本数据的限时自定义 playground:点击 Create Playground,新 org 自动关联到你的 Trailhead 账户,记下过期日期并在那之前完成徽章。Sales 数据包数据已预加载,提供了转换挑战所需的 Opportunity 和 Account 数据。

步骤 2:创建数据流(Create your Data Streams)

在摄入 account 和 opportunity 数据之前,需要把它们配置为 Data 360 中的数据源。在 Data Cloud 中进入 Data Streams 标签页点击 New → 点击 Salesforce CRMNext → 注意 Salesforce Trial Org 已预选,从 View Bundles 选择 Sales 数据包 → Next(该数据包包含创建批处理转换所需的全部数据流)→ 保持所有标准字段选中 → Next → 点击 Deploy(若出错或耗时过长,取消后重试)。

步骤 3:创建 Batch Data Transform(一)— Input → Filter → Join

现在组合并过滤数据,创建显示「按行业大单总额」的新 DLO。先构建管道的前半段:Input → Filter → Join

  1. 点击 Data Transforms 标签页 → New Transform → 选择 Batch Data TransformsNext → 选择 Data Lake ObjectsNext,进入 Transform Builder。
  2. 点击 Add Input Data,选择 Opportunity_Home(字段含 Amount、Account 等)。
  3. 点击 Opportunity 节点的 +,选择 Filter,重命名为 Filter >30,000
  4. 在数据预览表点击 Filters 下的加号,选择 Amount,Operator 选 greater than,数值输入 30000,点击 Done → Apply。
  5. 点击 Filter >30,000 节点的 +,选择 Join,在 Select Input Data to Join 表中选择 Account_Home(字段含 Industry 等)。
  6. 选择 Inner Join,在 Join Keys 下,Filter >30,000 选 Account,Account_Home 选 ID,点击 Add。
  7. 把 Join 节点重命名为 Get Accounts Info,点击 Apply。

现在管道已包含:过滤到 $30,000 以上的 Opportunity 数据,再与 Account 数据连接以获取行业信息。下一步:Aggregate 和 Output。

步骤 3:创建 Batch Data Transform(二)— Aggregate → Output

继续构建管道的后半段:Aggregate → Output → Save → Run

  1. 点击 Get Accounts Info 节点的 +,选择 Aggregate,添加聚合:Sum of Amount,添加 Group Row:Industry,重命名为 Total Sales by Industry,点击 Apply。
  2. 点击 Total Sales by Industry 节点的 +,选择 Output,保持 Create New 和 Replace 模式,Object Name 输入 Large Sales by Industry,Object Category 选 Other,Primary Key 选 Account_Home.Industry__c,点击 Apply,重命名 Output 节点为 Large Sales by Industry
  1. 在 Transform Builder 点击 Save,命名 Large Sales by Industry 并保存。
  2. 点击 Back to Data Transforms,找到该转换,点击行尾下拉箭头选择 Run NowRun,等待转换运行完成(几分钟)。

现在你就能看到哪些行业驱动你最大的交易了!

预览结果(Preview Results)

转换成功完成后,进入 Data Explorer 打开 Large Sales by Industry DLO 检查数据。需要确认:每个行业只出现一次(按 Industry 主键分组);Sum of Amount 显示该行业的总销售额;只包含 $30,000 以上的商机(过滤器正确应用);没有大单的行业被排除(inner join 移除了未匹配的账户)。

这个 DLO 现在可用于报表与仪表板(可视化头部行业)、计算洞察(在此数据上构建指标)、以及分段与激活(按行业定位)。转换管道:Opportunity + Account → Filter >$30K → Join(Account ID)→ Aggregate by Industry → Output 为干净 DLO。完成!

检查挑战(Check Challenge)

现在检查你的工作,确认已遵循所有步骤后,点击 Check Challenge to Earn 500 Points 进入下一单元。回顾你的批处理数据转换:名称 Large Sales by Industry;管道 Input(Opportunity_Home)→ Filter(>$30,000)→ Join(Account_Home,inner,Account=ID)→ Aggregate(SUM Amount,GROUP BY Industry)→ Output(Large Sales by Industry DLO);输出 DLO 在 Data Explorer 中可用。你已经用可视化编辑器从零构建了一个完整的批处理数据转换!


文章来源:Trailhead - Batch Data Transforms in Data 360 Quick Look