然后用kubectl提交到K8s，之后Flink Kubernetes Operator会根据Yaml的定义把这个Flink集群创建出来, 例如Yaml定义JobManager的数量为2，则会创建2个JobManager，此外，构成这个集群相应的Pod、Deployment、Service、ConfigMap和Ingress资源也都会自动创建出来。
在上一篇文章《Flink On K8s实践1:Flink Kubernetes Operator介绍》中介绍Flink Webhook的时候，有提到Flink Webhook默认使用TLS协议进行通信，也就是HTTPS，所以在使用Flink Kubernetes Operator时，需要先安装cert-manager组件，由它提供证书服务。通常使用cert-manager.yaml来安装cert-manager，cert-manager.yaml可以从cert-...
Kubernetes模式下,Flink又细分为Native Kubernetes和Flink Kubernetes Operator两种模式,在实际应用中,比较少使用Native Kubernetes,而是使用Flink Kubernetes Operator居多。此外,Flink Kubernetes Operator也是Apache Flink官方提供和推荐的,它可以极大地简化将Flink应用部署到K8s上的配置。有关Kubernetes Operator的相关说明,大家...
立即体验 在安装Flink Kubernetes Operator之前,需要先准备一套可用的Kubernetes集群环境。这套Kubernetes集群可以是非高可用的,但建议Node节点的个数不少于2个,因为如果Flink集群开启了HA(高可用性),不同的JobManager Pod会调度到不同的K8s Node节点上,但TaskManager不受影响。接下来,需要安装cert-manager。cert-manager是...
Flink on K8s 部署模式 3.1 Flink 的部署模式[1] Session 模式 多个Job 提交共享同一个 JobManager,Flink Cluster的实例已经被创建,并被所有Job共享的。Flink任务由Client提交,client做一些预备工作, 并在 Flink Client 上生成 JobGraph,这种方式的缺点是:一个Job导致的JobManager失败可能会导致所有的Job失败。
Flink on K8s 部署模式 3.1 Flink 的部署模式[1] Session 模式 多个Job 提交共享同一个 JobManager,Flink Cluster的实例已经被创建,并被所有Job共享的。Flink任务由Client提交,client做一些预备工作, 并在 Flink Client 上生成 JobGraph,这种方式的缺点是:一个Job导致的JobManager失败可能会导致所有的Job失败。
如果创建 Per Job 集群,也只需要在该 yaml 中声明 Job 的属性,如 Job 名称,Jar 包路径即可。通过 flink-operator,上文提到的四种 Flink 运行模式,分别对应一个 yaml 文件即可,非常方便。 apiVersion: flinkoperator.k8s.io/v1beta1kind: FlinkClustermetadata: name: flinksessioncluster-samplespec: image: ...
目前 Operater 有 Lyft 和 Google 两个开源的 operator，他们在功能上类似，而且都是已经经过生产检验，与目前的 Standalone Cluster 结合的比较好的，已经达到生产可用的标准。总结 当然，Flink on K8s 当前也存在一些不足：无论 Operator、Helm Chart 或者是直接使用 Kubectl Yaml 的方式，Flink 都感知不到 K8s ...
在上一篇文章《Flink On K8s实践1:Flink Kubernetes Operator介绍》中介绍Flink Webhook的时候,有提到Flink Webhook默认使用TLS协议进行通信,也就是HTTPS,所以在使用Flink Kubernetes Operator时,需要先安装cert-manager组件,由它提供证书服务。 通常使用cert-manager.yaml来安装cert-manager,cert-manager.yaml可以从cert-man...
helm install -f values.yaml flink-kubernetes-operator . --namespace flink --create-namespace 1. 有关Flink Kubernetes Operator定制安装方面的教程,可以到bigdataonk8s观看和获取。 下图所示的是以HA方式安装的Flink Kubernetes Operator,其中副本数是2,所以启动了2个flink kubernetes operator pod,它们是主备关...