DataX是阿里云DataWorks数据集成的开源版本。增加 明道云 http restful api 的 reader Resources Readme License View license Activity Stars 0 stars Watchers 0 watching Forks 0 forks Report repository Releases No releases published Packages No packages published Languages Java 97.6% Python 2.3...
通过HTTP 连接 TSDB 实例,并通过 /api/put 接口将数据点写入。关于写入接口详见 TSDB 的接口说明文档。 3 功能说明 3.1 配置样例 配置一个从 OpenTSDB 数据库同步抽取数据到 TSDB: { "job": { "content": [ { "reader": { "name": "opentsdbreader", "parameter": { "endpoint": "http://localhos...
"name": "mysqlreader", # 从mysql数据库获取数据(也支持sqlserverreader,oraclereader) "name": "txtfilereader", # 从本地获取数据 "name": "hdfsreader", # 从hdfs文件、hive表获取数据 "name": "streamreader", # 从stream流获取数据(常用于测试) "name": "httpreader", # 从http URL获取数据 } "...
Flink 是非常优秀的流计算引擎,Zeta 是我们专为数据同步这个场景打造的,更适合于高性能数据同步这个场景! 总结 Apache SeaTunnel 作为一款强大的数据同步和转换工具,凭借其部署易用性、容错机制、数据源支持、性能优势、功能丰富性以及活跃的社区支持,成为了数据工程师们不可或缺的利器。SeaTunnel 能够满足各种规模和类...
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <parent> <artifactId>datax-all</artifactId> ...
$ yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo3.安装 docker 依赖包$ yum install -y device-mapper-persistent-data lvm2 4.安装 docker-ce$ yum install docker-ce -y 5.启动容器$ systemctl start docker && systemctl enable docker ...
TSDB提供百万级时序数据秒级写入,高压缩比低成本存储、预降采样、插值、多维聚合计算,查询结果可视化功能;解决由于设备采集点数量巨大,数据采集频率高,造成的存储成本高,写入和查询分析效率低的问题。 2 实现原理 通过HTTP连接TSDB实例,并通过/api/put接口将数据点写入。关于写入接口详见TSDB的接口说明文档。 3 功能...
数据采集:ActiveMq输入,ActiveMq输出,redis输出,http输入组件支持xml、市场项目问题修复数据治理:正则提取组件开发、规则库组件开发、groovy脚本组件优化、治理逻辑封装成治理模型并适配23种治理组件、市场项目问题修复数据探查:对前置库表字段进行值域分布、空值率、字段类型做探查,对dw层治理后的数据做质量校验,并输出治理...
配置 docker-ce 国内 yum 源(阿里云)$ yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo3.安装 docker 依赖包$ yum install -y device-mapper-persistent-data lvm24.安装 docker-ce$ yum install docker-ce -y5.启动容器$ systemctl start docker && ...
"core": { "dataXServer": { // 代码中没用到这些配置,应该是商业版本用的 "address": "http://localhost:7001/api", "timeout": 10000, "reportDataxLog": false, "reportPerfLog": false }, "transport": { "channel": { // 用于统计和限速,目前只有这个实现类 "class": "com.alibaba.datax...