以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。 一、配置“QueryDatabaseTable”处理器 该处理器主要使用提供的SQL语句或者生成SQL语句来查询MySQL中的数据,查询结果转换成Avro格式。该处理器只能运行在主节点上。 关于“QueryDatabaseTable”处理器的“...
如果传入的FlowFile包含多个Avro记录的流,则生成的FlowFile将包含一个JSON Array,其中包含所有Avro记录或JSON对象序列。如果传入的FlowFile不包含任何记录,则输出为空JSON对象。空/单个Avro记录FlowFile输入可以根据“包装单个记录”的要求选择包装在容器中。 2)、属性配置 在下面的列表中,列出属性及其默认值 3、SplitJson ...
I'm receiving an array of the Json objects like [{"key1":"value1", "key2":"value2"},{...},{...}], all what I'm doing is using SplitJson with the following expression. If you have another structure of a Json your expression could be different, or you should use a...
NIFI - How to split non root node (json array), but include root level attribute in flowfile Labels: Apache NiFi lightsailpro Contributor Created 11-08-2016 08:13 PM In the following JSON, { "p":{ "key":"k1", "theme":"default" }, "version":"1.1.0", ...
以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。 一、配置“QueryDatabaseTable”处理器 该处理器主要使用提供的SQL语句或者生成SQL语句来查询MySQL中的数据,查询结果转换成Avro格式。该处理器只能运行在主节点上。
以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。 一、配置“QueryDatabaseTable”处理器 该处理器主要使用提供的SQL语句或者生成SQL语句来查询MySQL中的数据,查询结果转换成Avro格式。该处理器只能运行在主节点上。
具体步骤是:通过QueryDatabaseTable查询出所需要的数据,将查询的数据通过ConvertAvroToJSON处理器转为Json数组并传递给invokHttp处理器。处理器中配置url后,会连同json数组一同发送至接口中,后端使用JSONArray接收数据,处理数据并入库,最后根据Response连接LogAttribute处理器。
ConvertAvroToJSON: avro 数据格式转换为 json SplitJson: 将JSON文件拆分为多个单独的FlowFiles 用于由JsonPath表达式指定的数组元素。 EvaluateJsonPath: 根据FlowFile的内容评估一个或多个JsonPath表达式。这些表达式的结果将分配给FlowFile属性,或者写入FlowFile本身的内容,具体取决于处理器的配置。
5、创建并配置SplitJson 6、创建并配置PutHDFS 四、验证 1、启动QueryDatabaseTable,并查看队列中数据 2、启动ConvertAvroToJSON,并查看队列中数据 3、启动SplitJson,并查看队列中数据 4、启动PutHDFS,并查看处理器接收和输出的数据 5、查看HDFS数据 本文旨在说明将mysql数据同步至HDFS中,并进行验证。阅读本文前最好...
答案:可行。可以使用InvokeHTTP、EvaluateJsonPath、UpdateAttribute、SplitJson实现接口依赖、数据解析和数据传递的问题。 3、NIFI是否支持把HTTP的数据推送到Prometheus 答案:可行。可借助Pushgateway实现通过HTTP的方式把数据推送到Prometheus。Pushgateway相当于一个中转站代理的角色。本文重点不在这里,所以不继续科普Pushgateway。