助睿实验作业1：订单利润分流数据加工

助睿实验作业1订单利润分流数据加工1 实验背景1.1 实验目的本次实验旨在熟悉助睿零代码数据集成平台ETL平台的核心功能和操作方法具体包括1掌握新建转换、添加组件、执行转换等基本操作流程2熟悉表输入、记录集连接、字段选择、过滤记录、Excel输出等常用组件的配置方法3理解多表关联、数据过滤与分流处理的ETL设计思路4通过本次实验能够独立使用助睿平台完成常见的数据加工任务为后续更复杂的数据处理场景打下基础。1.2 实验环境零代码在线实验平台助睿数智Uniplore一站式数据科学平台覆盖数据接入、ETL处理、机器学习建模到可视化展示全链路零代码功能适用于数据分析教学与企业数据加工场景。产品官网https://www.uniplore.com/实验访问地址https://lab.guilian.cn/。数据库MySQL含订单数据和产品信息表。数据准备订单表business_anaylsis.order_detail、产品表business_anaylsis.product。1.3 业务场景在企业经营分析中经常需要将多张表关联起来计算利润并按利润正负对订单进行分类存储。本实验以订单利润分流为例通过零代码拖拽方式完成该数据处理任务。1.4 数据加工流程订单明细表与产品信息表进行左外连接移除重复字段按利润是否大于等于零进行分流最后分别输出盈利订单和亏损订单到两个Excel文件。2 实验步骤2.1 登录实验平台1在贵兰在线对应的课程学习页面点击“实验课1助睿ETL入门实验”2点击课程实训说明中的“大数据实训平台”进入实验地址https://lab.guilan.cn/从贵兰在线进入实验平台可自动登录登录成功后进入实验平台首页2.2 团队管理1各小组组长可创建团队方便团队实验作业管理。进入实验平台后选择“数据集成/ETL”进入数据集成页面2点击“团队管理”菜单点击“新增团队”3填写团队名称与描述完成创建创建成功后点击团队卡片右上角“更多”选择“添加成员”输入用户名称完成成员添加。2.3 创建实验项目1平台提供默认项目也可创建专属课程项目。选择项目所属团队为“商业数据分析小组1”或个人2点击“新建项目”填写项目名称、描述等信息点击“确定”完成创建3创建成功后在数据集成页面可查看新创建的项目。2.4 数据资源获取1项目创建成功后点击项目右上角“…”选择“打开项目”2点击“元数据”右键根目录“关系数据库”点击“同步数据源”3切换“文件库”菜单再切换回元数据可查看成功同步的数据库“线上公共数据源Readonly”2.5 新建转换流本次实验创建“订单利润分流处理”转换流实现订单数据与产品信息关联并根据利润正负将数据分流为盈利订单和亏损订单分别输出到两个Excel文件。整体逻辑订单明细表→左外连接产品信息表→移除重复ID字段→按利润≥0分流→盈利订单/亏损订单分别输出。各组件作用组件作用表输入订单 / 产品读取原始数据记录集连接按产品 ID 关联两表字段选择移除重复的 ID 字段过滤记录根据利润正负分流Excel 输出分别输出盈利 / 亏损订单1新建转换流操作切换到资源库右键根目录点击“新建转换流”2输入转换流名称“订单利润分流处理”点击“确定”3创建成功后进入转换流设计页面4进入转换流设计页面后点击解锁图标完成解锁方可进行编辑。2.6 添加组件本次实验依次添加表输入、记录集连接、字段选择、过滤记录、Excel输出组件具体操作如下2.6.1 添加表输入组件本次实验需合并两类数据添加2个表输入组件点击“组件库”搜索“表输入”将组件拖拽至画布共拖拽2个2右键第一个表输入组件编辑组件步骤名称改为“订单_详细订单”3右键第二个表输入组件编辑组件步骤名称改为“订单_产品信息”。2.6.2 添加记录集连接组件1组件库搜索“记录集连接”拖拽至画布分别创建两个表输入组件到记录集连接组件的连接线。2.6.3 添加字段选择组件1组件库搜索“字段选择”拖拽至画布2编辑组件步骤名称改为“移除产品ID_1字段”3创建记录集连接组件到字段选择组件的连接线。2.6.4 添加过滤记录组件1组件库搜索“过滤记录”拖拽至画布2创建字段选择组件到过滤记录组件的连接线弹窗中选择“主输出步骤”。2.6.5 添加Excel输出组件1组件库搜索“excel输出”拖拽2个组件至画布2分别命名为“盈利订单”、“亏损订单”创建过滤记录组件到两个Excel输出组件的连接线分别选择“True输出”、“False输出”2.7 配置组件信息组件添加完成后依次配置各组件的参数具体如下2.7.1 表输入组件配置1双击“订单_详细订单”表输入组件数据库连接选择“线上公共数据源(Readonly)”2点击“获取SQL查询语句”选择表“business_anaylsis.order_detail”确认生成SQL语句3对“订单_产品信息”表输入组件执行相同操作选择表“business_anaylsis.product”。2.7.2 记录集连接组件配置1双击记录集连接组件第一个Transform选择“订单_详细订单”第二个Transform选择“订单_产品信息”连接类型选择“LEFT OUTER”2分别点击“获得连接字段”获取两表字段同样的获取第二个Transform的连接字段3第一个Transform仅保留“product_id”第二个Transform仅保留“id”删除其余字段点击“确认”。2.7.3 字段选择组件配置1双击“移除产品ID_1字段”组件切换至“移除”选项卡点击“获取字段”2选中除“id”外的所有字段删除选中行仅保留id字段用于移除点击“确认”。2.7.4 过滤记录组件配置1双击过滤记录组件设置“发送匹配的结果给”为“盈利订单”“发送不匹配的结果给”为“亏损订单”2选择判断字段“profit(Number)”;3条件选择“”值设置为“0”类型Integer点击“确认”;2.7.5 Excel输出组件配置1双击“盈利订单”Excel输出组件文件名改为“盈利订单”扩展名选择“xlsx [Excel 2007 and above]”切换至“输出字段”右键“获取字段”确认字段对“亏损订单”Excel输出组件执行相同配置。2.8 执行转换任务1组件配置完成后点击启动按钮弹窗中选择“启动”运行环境为local日志级别为基本日志执行转换流。2执行成功2.9 查看执行结果和日志任务执行过程中系统自动记录操作日志执行完毕后可在平台查看日志与步骤度量确认各组件执行状态与数据读写量。2.10 查看输出结果文件点击“文件库”右键根目录刷新可查看输出文件“盈利订单.xlsx”、“亏损订单.xlsx”右键可下载查看数据。3 实验结果3.1 转换流执行与文件输出验证通过助睿零代码数据集成平台ETL平台成功执行“订单利润分流处理”转换流完成多表关联、数据清洗和按条件分流操作。系统按ETL逻辑读取订单明细表与产品信息表数据经左外连接、冗余字段移除、数据过滤后输出“盈利订单.xlsx”与“亏损订单.xlsx”两份目标文件。3.2 数据分流过滤逻辑验证对输出文件抽样核对数据完全符合利润过滤条件profit 0盈利订单所有记录profit≥0如订单号CN-2016-1973789利润43、CN-2014-4497736利润3784亏损订单所有记录profit0如订单号CN-2016-1357144利润-61、CN-2015-2511714利润-3963。3.3 字段清洗与关联结果验证经字段选择组件处理后最终输出表格结构干净、无冗余完整保留order_id、product_id、product_name、sales_amt、profit等业务属性成功剔除连接产生的重复id字段。3.4 实验结论本次实验ETL数据加工流程逻辑正确表输入、记录集连接、字段选择、过滤记录及Excel输出等组件配置无误实现跨表数据有效整合完成按利润正负的精准归类与分流存储圆满达成订单利润分流实验目的。