本指南将引导您在 amazon eks 集群(即托管的 k8s 集群)上彻底安装 apache-airflow。 该设置包括您想要的 python 版本和使用带有 Keda autoscaling 的 Celerykubernetes 执行器,以及使用 Gitsync 来获取您的 DAG。 您只需要一个 EKS 集群和一个 aws alb 控制器,这样您就可以从集群外部访问气流。 (我已经使用 e...
通过查看日志,发现错误信息“Failed to pull image "http://k8s.gcr.io/git-sync/git-sync:v3.4.0": rpc”,主要原因是由于国内网络防火墙问题导致无法正常拉取。我们使用阿里的国内镜像,参考https://zhuanlan.zhihu.com/p/429685829 在github里面新建一个repository,然后增加一个dockerfile,内容是需要拉取的image,...
通过查看日志,发现错误信息“Failed to pull image http://k8s.gcr.io/git-sync/git-sync:v3.4.0 rpc”,主要原因是由于国内网络防火墙问题导致无法正常拉取。我们使用阿里的国内镜像,参考https://zhuanlan.zhihu.com/p/429685829 在github里面新建一个repository,然后增加一个dockerfile,内容是需要拉取的image,例如...
# GIT_SYNC_PASSWORD: # and specify the name of the secret below credentialsSecret: git-credentials # If you are using an ssh clone url, you can load # the ssh private key to a k8s secret like the one below # ___ # apiVersion: v1 # kind: Secret # metadata: # name: airflow-...
气流将 DAG 存储在本地文件系统中。在 GitHub 存储库中保存 DAG 是一种更可扩展、更简单的方法。 Airflow 在文件系统中检查新的/更新的 DAG ,但使用 GitSync , Airflow 会查看更容易维护和更改的 GitHub 存储库。 接下来,配置 GitSync 。将密钥添加到 GitHub 存储库时,请确保启用写入访问。
airflow和k8s结合交互,有两种方式。 一种是 KubernetesExecutor KubernetesExecutor是比较新的一种用法和属性,在airflow 1.10中才引入。 使用KubernetesExecutor是 一种跟 HiveOperator 或者 PythonOperator一个层级的 Operators。 会在worker层面有k8s的一些依赖和上下文context,同时需要在worker节点中设置相应的配置参数。
git-secrets secret: secretName: airflow-secrets containers: - name: git-sync image: k8s.gcr.io/git-sync:v3.1.3 volumeMounts: - name: markdown mountPath: /tmp/git - name: git-secrets mountPath: /etc/git-secrets env: - name: GIT_SYNC_REPO value: git@host:account/project.git - name...
k8s.gcr.io/git-sync/git-sync tag: v3.6.3 pullPolicy: IfNotPresent # Select certain nodes for airflow pods. nodeSelector: {} affinity: {} tolerations: [] topologySpreadConstraints: [] # Add common labels to all objects and pods defined in this chart. labels: {} # Ingress configuration...
我正在开发一个操作符,它为不同的k8s资源创建监视。我不时地在日志和应用程序中看到下面的异常--停止。是什么导致了这个问题,我如何解决这个问题?io.fabric8.kubernetes.client.KubernetesClientException: too old resource version: 29309228 (33284573)at kubernetes.client@4.6.4/io.fabric8.kubernetes.client....
- Enable configurable git sync depth (#9094) - Reduce the required resources for the Kubernetes's sidecar (#6062) - Refactor K8S codebase with k8s API models (#5481) - Move k8s executor out of contrib to closer match master (#8904) - Allow filtering using "event" and "owner" ...