NiFi主要的功能是数据处理和数据分发,在NiFi中数据均抽象为FlowFile。FlowFile有两个部分组成:内容(Content)和属性(attribute)。这里Content是实际上要处理和分发的数据,而FlowFile并不直接存储数据而是存储了一个指向实际存储地址的指针。属性(attribute)是数据本身相关的元数据,描述信息等,形式是一组键值对。例如:“GetFi...
NiFi主要的功能是数据处理和数据分发,在NiFi中数据均抽象为FlowFile。FlowFile有两个部分组成:内容(Content)和属性(attribute)。这里Content是实际上要处理和分发的数据,而FlowFile并不直接存储数据而是存储了一个指向实际存储地址的指针。属性(attribute)是数据本身相关的元数据,描述信息等,形式是一组键值对。例如:“GetFi...
final AtomicReference<String>flowfileContent=newAtomicReference<>();corrupt_line_nos.set("Attribute Va...
><templateencoding-version="1.2"><description>将mysql中的数据导入到Hdfs中,并且使用lzo压缩方式。 存在重复的数据</description><groupId>2f7d3766-0186-1000-0000-00006e07b64a</groupId><name>MysqlToHDFSByLzo</name><snippet><connections><id>8bacaebe-bce0-31e8-0000-000000000000</id><parentGroupId...
Content Repository是给定FlowFile的实际内容字节。存储库的实现是可插拔的。默认方法是一个相当简单的机制,它将数据块存储在文件系统中。可以指定多个文件系统存储位置,以便获得不同的物理分区,以减少任何单个卷上的争用。 1.3.6 源头存储库 Provenance Repository是存储所有来源的事件数据的地方。存储库构造是可插入的,...
Content Claim Container Section Identifier Offset Size Download View Attribute Values Enter Attribute Values Attribute name Displaying of () Last updated: Name Description Showing partial results Displaying of Clear state Name Bundle Version Supports Controller Services Tags Restriction...
,核心概念 FlowFile FlowFile表示在系统中移动的每个对象,FlowFile由两部分组成: content 内容,即数据本身 attributes 属性,每条数据带上的属性信息.以键值对的形式. FlowFile Processor FlowFile处理器,由它完成对数据的实际处理工作.包括但不限于对数据内容和属性的加载,路由,转换,输出等. 处理器最灵活之处在于处理器...
labelIndex><loadBalanceCompression>COMPRESS_ATTRIBUTES_AND_CONTENT</loadBalanceCompression><loadBalancePartitionAttribute></loadBalancePartitionAttribute><loadBalanceStatus>LOAD_BALANCE_INACTIVE</loadBalanceStatus><loadBalanceStrategy>ROUND_ROBIN</loadBalanceStrategy><name>Q_C</name><selectedRelationships>success<...
当“Destination”被设置为“flowfile-attribute”时,将使用“scalar”的返回类型。 当“Destination”被设置为“flowfile-content”时,将使用“JSON”返回类型。 如果JsonPath计算为JSON数组或JSON对象,并且返回类型设置为“scalar”,则流文件将不进行修改,并将路由到失败。
基于内容的路由(一对一) Route Based on Content (One-to-One) 根据内容路由数据的处理器将采用以下两种形式之一:将传入的FlowFile路由到恰好一个目标,或将传入数据路由到0个或更多目标。在这里,我们将讨论第一个案例。 此处理器有两种关系:matched和unmatched。如果需要特定的数据格式,则处理器还将具有failure在输...