基于Kettle实现的Web版数据集成平台,其应用场景非常广泛,以下是一些典型的应用场景: 数据仓库构建:用于构建和维护数据仓库,通过拖拽方式实现数据抽取、转换和加载(ETL)过程。 数据迁移:在不同数据库或不同平台之间迁移数据,支持异构数据源之...
打开webSpoon之后就可以进行多人共享办公,一起编辑转换或者job文件了。 注:webSpoon是web端在线编辑kettle文件,开发测试的环境而已,不适用生产环境运行转换或者job文件。
自动规则展示:TASKCTL 控制容器图采用自动排列方式,图形不会出现线条 交叉的情况,并清楚地展示了作业节点之间的串并关系。钻取展示方式:某些大控制容器难免会出现子模块数量多,层次深的情况。 可以通过双击 include 模块节点下钻到子模块,或通过右键菜单快速返回到 “主模块”、“上级模块”以及“子模块”。节点...
kettle作为非常优秀的开源ETL工具得到了非常广泛的使用,一般的使用都是使用客户端操作管理,但问题是当投入生产环境使用时,动辄几百上千个job需要管理,这时在使用客户端管理已经很难完成了。我所知道的解决方案有用命令行的调用的,操作极其麻烦,难以维护,总之还是很难用啦,还有就是开发web端管理工具,kettle自带了一个...
kettle-scheduler-boot 项目地址:https://gitee.com/uxue/kettle... 开发计划 序号项目状态优先级 1在线管理,编辑kettle脚本紧急 2通过源码实现集群,多线程执行任务✔紧急 2重构jpa部分,改为mybatis✔一般 介绍 基于Spring-boot的kettle调度项目,参考了zhaxiaodong9860的代码并引用了其中的页面管理,后台代码自行参考...
kettle调用xml组件,把相关数据插入到数据库 作为webservice服务端被动接收推来的数据 因为kettle不能作为webservice服务端,于是借助一个java版的webservice程序,接收推过来的数据,保存到数据库,这个比较简单,在此省略 获取到webservice返回来的xml字符串 获取到的数据保存到数据库表,如下图 code:接口编码 status:本...
webKettleETL产品介绍 webkettle平台,创造性的将平台构建为B/S架构的ETL模型设计以及集成用户专业调度管理的分布式ETL建模运维系统。 系统分为七大模块:模型、平台、任务、定时调度、日志、节点、用户. 模型模块进行ETL模型开发,在B/S系统中用拖拽的方式设计数据流逻辑。 其他六个模块为用户专业调度管理系统,更多是面向...
webKettleETL产品介绍 webkettle平台,创造性的将平台构建为B/S架构的ETL模型设计以及集成用户专业调度管理的分布式ETL建模运维系统。 系统分为七大模块:模型、平台、任务、定时调度、日志、节点、用户. 模型模块进行ETL模型开发,在B/S系统中用拖拽的方式设计数据流逻辑。
webKettleETL产品介绍 webkettle平台,创造性的将平台构建为B/S架构的ETL模型设计以及集成用户专业调度管理的分布式ETL建模运维系统。 系统分为七大模块:模型、平台、任务、定时调度、日志、节点、用户. 模型模块进行ETL模型开发,在B/S系统中用拖拽的方式设计数据流逻辑。
kettle web化 通过Java API调用kettle核心代码,并基于Spring Boot提供简易的Web管理界面。 背景 在工作中,通过kettle这款ETL产品进行数据处理时,是通过kitchen命令调用kettle,会启动一个jvm程序处理。在运行时,如果几个任务同时跑,那么会占用比较高的内存。而且每次启动kettle时,会先初始化运行环境。