可以通过要监控的任务列表,对比存活的Spark任务,不存在的可以通过短信或邮件的方式预警。获取Spark还在运行状态任务的示例代码: privatedefyarn():Unit={valyarnConf=newYarnConfiguration()valyarnClient=YarnClient.createYarnClient()yarnClient.init(yarnConf)yarnClient.start()try{importscala.collection.JavaConversions...
1,flume所在的节点不和spark同一个集群 v50和 10-15节点 flume在v50里面 flume-agent.conf spark是开的work节点,就是单点计算节点,不涉及到master发送管理 只是用到了sparkStreming的实时功能 开启的是spark-shell不是spark-submit 提交jar的形式,提交jar的形式还需要后面研究下 如下 在结算节点下 和flume的jar...