以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。 一、配置“QueryDatabaseTable”处理器 该处理器主要使用提供的SQL语句或者生成SQL语句来查询MySQL中的数据,查询结果转换成Avro格式。该处理器只能运行在主节点上。 关于“QueryDatabaseTable”处理器的“...
③SplitJson:拆分json,勾选failure、original JsonPath Expression:选择json中需要拆分的字段名称,该字段名称中的value为json格式的多条数据,组件会将value中的多条数据拆分成数量相等的数据流,并舍弃拆分字段名称value值之外的所有数据。 Before:{"name": "lkd", "age": [{"max": "99"},{"min": "3"}],"...
7.Splitting and Aggregation - SplitText: 将一个flowfile中的文本内容划分为一个或者多个flowfile,最终flowfile的个数取决于行数的设置。e.g. 该处理器可以将flowfile分割成多个flowfile,每个flowfile只包含一行文本。 - SplitJson:对于一个Json Object,可以根据包含数组或者孩子的来对flowfile进行划分,每个flowfile包含...
1 选择处理器组件 2 弹出窗口显示的就是所有处理器 1.2 常用处理器 - 整理 ExecuteScript: 执行脚本处理器 支持: clojure ecmascript groovy lua python ruby QueryDatabaseTable: 数据库查询处理器 支持: mysql ConvertAvroToJSON: avro 数据格式转换为 json SplitJson: 将JSON文件拆分为多个单独的FlowFiles 用于...
SplitJson: 允许用户根据JSON元素将由数组或许多子对象组成的JSON对象拆分为FlowFile...: HandleHttpRequest处理器是一个源处理器,它启动类似于ListenHTTP的嵌入式HTTP(S)服务器。但是,它不会向客户端发送响应。相反,将以HTTP请求的主体作为其内容和属性(所有典型Servlet参数,标...
I'm receiving an array of the Json objects like [{"key1":"value1", "key2":"value2"},{...},{...}], all what I'm doing is using SplitJson with the following expression. If you have another structure of a Json your expression could be different, or you should use a...
3、ConvertAvroToJSON 此模块将Binary Avro记录转换为JSON对象。该处理器提供了一个Avro字段到JSON字段的直接映射,这样生成的JSON将具有与Avro文档相同的层次结构。 ConvertAvroToJSON 4、SplitJson 此模块将JsonPath表达式指定的数组元素的JSON文件拆分为多个单独的FlowFiles。
Looking at the above answer it seems like I should use the JoltTransformJSON processor, followed by a SplitJSON process & finally a KafkaProducer. The first event from the example above would look like: { "user_id": 123, "other_root_field": "blah", "exploded_nested_1"...
FetchFile -> SplitJson -> routeOnAttribute-> MergeContent (merge all flowfiles) -> 浏览133提问于2019-03-12得票数 1 1回答 合并文件时nifi-1.0.0块 我有一个处理csv文件的流程(最大文件大小约为700 mB)。我将这些文件拆分成一行的流文件,然后进行一些处理,最后使用ExtendedMergeContent处理器作为同步...
因为从技术上讲，流文件的内容是多个json文档，每行一个。我认为splitjson会期望它们在一个数组中，...