spark-submit --queue=root.XXXX realtime-streaming-1.0-SNAPSHOT-jar-with-dependencies.jar 1. 3)查看结果 到MySQL中查看结果,每隔10秒会聚合出type=1-5的5条数据。 例如第一条数据,就是type=4这种类型的业务,在10s内收益是555473元。业务量惊人啊。哈哈。
./bin/spark-shell --master "local[3]" --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.4.3 --jars ./spark-sql-kafka-offset-committer-0.1.0-SNAPSHOT.jar --conf spark.sql.streaming.streamingQueryListeners=net.heartsavior.spark.KafkaOffsetCommitterListener ...
编译安装#mvn clean install -DskipTests flink集群添加cdc jar 将jar包放入flink集群 mysql#cd/home/hadoop/app/flink-cdc-connectors/flink-sql-connector-mysql-cdc/target#cpflink-sql-connector-mysql-cdc-2.2-SNAPSHOT.jar /home/hadoop/app/flink/lib/pg#cd/home/hadoop/app/flink-cdc-connectors/flink-sql...
es+kerberos https证书卡着了(已解决,需要用华为二次开发的jar),先将DSL语法熟悉下上传 这两天调试spark同步hive到es程序,es是kerberos安全认证的,网上的都是http的方式访问,难受,最终使用jdbc的方式在安全模式的集群下从hive读数据到es ok 断断续续优化的flink程序 加入rebalance,解决数据倾斜,导致背压,优化背压 对...
mvn clean package -pb (打包使用不用环境下面的配置文件)2、jar包运行(没有pom文件配置assembly)java -cp hello_world-1.0-SNAPSHOT.jar com.liumm.hello.com.c503.base.Hbase_Base3、私服搭建下载私服ß 私服下载地址 解压进入目录 /Users/liuxm/E_lib/nexus-2.14.8-01-bundle/nexus-2.14.8-01/bin...