添加一个ConvertJsonToSQL处理器。这个处理器将JSON数据转换为SQL语句。你可以配置它以指定目标数据库类型(DB2),并提供SQL模板来生成插入语句。 添加一个PutSQL处理器。这个处理器用于将SQL语句发送到DB2数据库并执行插入操作。你需要配置它以连接到DB2数据库,并提供相应的认证信息和连接参数。
ConvertJSONToSQL类名为ConvertJSONToSQLWithMerge 修改org.apache.nifi.processor.Processor内容为:sql.ConvertJSONToSQLWithMerge 完成修改后,如下图所示: 增加MERGE类型 增加Merge函数 privateStringgenerateMerge(finalJsonNode rootNode,finalMap<String, String> attributes,finalString tableName,finalString updateKeys,...
ConvertJSONToSQL:将JSON格式的数据转换为SQL格式。 ConvertAvroToJson:将Avro格式的数据转换为JSON格式。 SplitJson:将JSON数据拆分为单独的记录。 EvaluateJsonPath:从JSON数据中提取指定字段的值。 ReplaceText:替换文本中的特定字符串。 UpdateAttribute:更新流文件的属性。 ReplaceText:替换流文件中的特定内容。 MergeCo...
1、使用ExecuteSQL连接mysql数据库,通过写sql查询所需要的数据 2、nifi默认查出来的数据为Avro格式,所以需要ConvertAvroToJSON把Avro格式转化为json格式的数据 3、使用ConvertJSONToSQL把json数据转化为sql语句 4、使用PutSQL把数据存入数据库。 5、同步的数据重复插入数据库,需要对数据进行更新操作,SplitJson对json进行...
ConvertJSONToSQL 描述 三、详细说明 1、GenerateTableFetch 此功能模块可以生成分页查询的SQL语句 GenerateTableFetch 2、ExecuteSQLRecord 此功能执行提供的SQL选择查询。查询结果将转换为Record Writer指定的格式。 ExecuteSQLRecord 3、ConvertAvroToJSON 此模块将Binary Avro记录转换为JSON对象。该处理器提供了一个Avro...
ConvertJSONToSQL:将JSON文档转换为SQL INSERT或UPDATE命令,然后可以将其传递给PutSQL Processor ExecuteSQL:执行用户定义的SQL SELECT命令,将结果以Avro格式写入流文件 PutSQL:通过执行FlowFile内容定义的SQL DDM语句来更新数据库 SelectHiveQL:对Apache Hive数据库执行用户定义的HiveQL SELECT命令,将结果以Avro或CSV格式...
配置ConvertJSONToSQL Processor 添加一个ConvertJSONToSQL Processor。 在JDBC Connection Pool中增加一个Service,选择Compatible Controller Services为DBCPConnectionPool,并且设置Controller Service Name,此处设置为hologres。 单击JDBC Connection Pool行最右侧的向右箭头按钮,开始配置连接字符串。 从中找到刚才创建的DBCPConne...
ConvertJSONToSQL:将json中的元素转化为sql中的insert语句 PutSQL:执行上一个processor生成的sql语句,将json中的元素插入到数据库中 详细配置 GetFile处理器 此处理器的配置已经在上一篇文章中进行了介绍,这里将省略此部分内容,输入的文件为包含一个json元素的文件: ...
JoltTransformJSON:应用JOLT规范来转换JSON内容。 2. 路由和调解 RouteOnAttribute:根据FlowFile属性路由数据。 RouteOnContent:根据FlowFile内容路由数据。 ControlRate:限制数据流速率。 DetectDuplicate:检测重复数据。 3. 数据库访问 ConvertJSONToSQL:将JSON转换为SQL命令。 ExecuteSQL:执行SQL查询并返回结果。 PutSQL:...
ConvertJsonToSQL:将JSON数据转换为SQL语句。 PutSQL:将SQL语句发送到PostgreSQL数据库。 配置GetFile组件,指定要读取的Avro文件的路径。 配置ConvertAvroToJson组件,选择Avro模式文件,将Avro数据转换为JSON格式。 配置ConvertJsonToSQL组件,选择适当的数据库连接池服务,将JSON数据转换为SQL语句。