kettle Input Table SQL 变量使用 官方文档:https://wiki.pentaho.com/display/EAI/Table+Input !___前置说明___!: 引用 变量的方式: 【一定要勾选 Replace variables in script ?】 ${var} 字符类型需要加单引号‘ ’; %%var%% 使用?的方式: 从上一个步骤中引用 ; ${var} 和 %%var%% 引用 ?方式 ...
1、目标表配置:为etl_ods_table表中为每一个同步表配置一个目标表,用一个变量来表示目标表用:${taget_db_schema}.${taget_table_name},因此,可重复使用组件,提高总体灵活性。 2、资料库连结:设定源表与目标资料表使用资料表连结,以参数化方式,以资料库连结方式,设定资料表结构: 并且为etl_ods_table配置一...
Table output 组件。 打开 Kettle ,点击 File -> new -> Transformation ,新建一个转换流程 点击左侧 DesignTab 页,将 Table input 组件拖拽至右侧转换流程窗口,在组件上右键点击 edit ,弹出该组件的编辑窗口,设置步骤名称、数据库连接和 SQL 语句,如下图所示: 将company和company_district数据进行left join,join...
在“Table Input”步骤中,选中“SQL”选项卡,填入分页参数,如: SELECT * FROM table_name LIMIT start, offset 1. 注释:start为起始位置,offset为每页显示数量。 4. 执行查询并输出结果 在“Table Input”步骤后添加一个“Table Output”步骤,将查询结果输出到指定位置。 三、状态图 连接数据库设定SQL语句设置分...
3.1.1:Text file input:文本文件输入, 可以支持多文件合并,有不少参数,基本一看参数名就能明白其意图。 3.1.2:Table input:数据表输入 实际上是视图方式输入,因为输入的是sql语句。当然,需要指定数据源(数据源的定制方式在后面讲一下) 3.1.3:Get system info:取系统信息 ...
在ETL项目中,通常有根据运行时输入参数去执行一些SQL语句,如查询数据。本文通过kettle中的表输入(“table input”)步骤来说明动态查询、参数查询。示例代码使用内存数据库(H2),下载就可以直接运行,通过示例学习更轻松。 SQL查询语句中占位符绑定字段值 第一个接近动态语句的是大家熟悉的从SQL代码中执行,开始写一个SQL...
设置参数: 3、加载表中数据到本地指定文件上:Load Full Table To HDFS Shell (1)Table input SELECT*from${TABLE_NAME} 要勾选替换SQL语句里的变量: (2)Text file output 其中,文件名称和扩展名写的就是本地路径下的文件: /opt/module/Kettle7.1/data-integration/KettlePractice/ETL_KETTLE_DEMO_HDFS/temp...
参数查询 查询文件的SQL中也可以使用参数,Table input前增加一个Set variables步骤: SQL中的参数前后都用两个%标识,同时注意勾选上替换参数的选项: 调用SPL脚本 除了直接查询数据文件,也可以调用写好的SPL脚本文件。这适合复杂计算的情况,把复杂计算封装到SPL脚本文件*.dfx中。在集算器的设计器中编写一个calc.dfx...
图7 设置”Table input 2”相关内容 图8 设置”Table input 2”相关内容 图9 设置”Table input 2”相关内容 设置”Stream lookup”相关内容(双击即可)。如图10-11所示。 图10 设置”Stream lookup” 图11 设置完毕 设置”Table output”相关参数,双击”Table output”即可,mysql数据库密码为”root”。如图12所...