curl --location-trusted -u root -H "label:123" -H "where: k1=20180601" -T testData http://host:port/api/testDb/testTbl/_stream_load 将本地文件'testData'中的数据导入到数据库'testDb'中'testTbl'的表, 允许20%的错误率(用户是defalut_cluster中的) curl --location-trusted -u root -H ...
curl--location-trusted -u root -Tdate-H"label:123"http://abc.com:8030/api/test/date/_stream_load 创建导入的详细语法帮助执行HELP STREAM LOAD查看,下面主要介绍创建 Stream load 的部分参数意义。 签名参数 user/passwd Stream load 由于创建导入的协议使用的是 HTTP 协议,通过 Basic access authentication...
Stream load 导入可以开启两阶段事务提交模式:在Stream load过程中,数据写入完成即会返回信息给用户,此时数据不可见,事务状态为PRECOMMITTED,用户手动触发commit操作之后,数据才可见。例如: 1、发起stream load预提交操作 curl -X PUT --location-trusted -u user:passwd -H "txn_id:18036" -H "txn_operation:com...
Stream Load无法手动取消,Stream Load在超时或者导入错误后会被系统自动取消。 最佳实践 应用场景 Stream Load的最佳使用场景是原始文件在内存中或者存储在本地磁盘中。由于Stream Load是一种同步的导入方式,所以当您希望用同步方式获取导入结果时,也可以使用该导入方式。
curl --location-trusted -u user:passwd [-H ""...] -T data.file -XPUT http://fe_host:http_port/api/{db}/{table}/_stream_load # Header中支持属性见下表。 # 格式为: -H "key1:value1" 创建导入任务的详细语法可以通过HELP STREAM LOAD命令查看。Stream Load中所有与导入任务相关的参数均设...
Stream load Stream load 是一个同步的导入方式,用户通过发送 HTTP 协议发送请求将本地文件或数据流导入到 Doris 中。Stream load 同步执行导入并返回导入结果。用户可直接通过请求的返回体判断本次导入是否成功。Stream load 主要适用于导入本地文件,或通过程序导入数据流中的数据。 基本原理 用户将Stream Load的Http...
curl --location-trusted -u admin -H "label:label3" -H "max_filter_ratio:0.2" -T testData http://host:port/api/example_db/my_table/_stream_load 导入本地文件 testData,并指定列映射关系 curl --location-trusted -u admin -H "label:label4" -H "max_filter_ratio:0.2" -H "columns: ...
图3 Stream Load 事务状态流转图 数据导入开始之前,Coordinator BE节点会向FE发送Begin Transaction请求,FE会检查本次Begin Transaction请求的label是否已经存在,如果label在系统中不存在,则会为当前label开启一个新的事务,并为事务分配Transaction Id,同时将事务状态设置为PREPARE,然后将Transaction Id以及Begin Transaction成...
Stream Load创建导入任务使用的是HTTP协议,已通过Basic access authentication进行签名。StarRocks系统会根据签名来验证用户身份和导入权限。 导入任务参数 label 导入任务的标签,相同标签的数据无法多次导入。 您可以通过指定Label的方式来避免一份数据重复导入的问题。当前StarRocks系统会保留最近30分钟内成功完成的任务的Labe...
curl --location-trusted -u admin -H "label:label1" -H "timeout:100" -T testData http://host:port/api/example_db/my_table/_stream_load Load the local file testData and filter the data according to the conditions curl --location-trusted -u admin -H "label:label2" -H "where: k1...