Kubernetes 部署 Traefik Ingress 控制器 (1.7.12)

2019-06-02 23:11:00 kubernetes traefik traefik ingress ingress

文章目录

前言：

Ingress 可以为 Kubernetes 集群外部访问集群内部 Service 提供配置，Ingress Controller 控制器可以充当网关，提供路由策略、负载均衡流量、SSL，并提供基于名称的虚拟主机，提供统一的入口供流量涌入，是一个边缘路由器或额外的前端。这里使用 Traefik 来充当 Ingress Controller 控制器，下面将介绍如何在 Kubernetes 中部署 Traefik 这个过程。

Ingress 不会暴露任意端口或协议。将除 HTTP 和 HTTPS 之外的服务暴露给互联网通常使用 Service.Type = NodePort 或 Service.Type = LoadBalancer 类型的服务。

系统环境：

kubernetes 版本：1.14.0
traefik 版本：1.7.12

Github 示例部署文件

部署文件 github 地址: https://github.com/my-dlq/blog-example/tree/master/kubernetes/traefik-v1.7-deploy

一、Ingress 介绍

对于基于 HTTP 的服务，不同的 URL 对应不同的后端服务或者虚拟服务器(Virtual Host)，这些应用层的转发无法通过 Kubernetes Service 机制实现，所以从 Kubernetes 1.1 版本开始新增 Ingress 资源。Ingress 是一种将不同的URL的访问请求转发到不同的 Service 实现Http层业务路由机制。

Kubernetes Ingress 包含 Ingress 策略和 Ingress 控制器两部分组成，Ingress 策略是配置路由规则，而 Ingress 控制器则是将服务进行转发。Ingress Controller 基于 Ingress 规则将客户端请求转发到 Service 对应的后端 Endpoints(Pod) 上，这样会跳过 Kube-proxy 转发功能避免增加开销。

例如下图，展示了集群外部客户端通过 Ingress 地址访问集群，根据配置的 Ingress 规则，将所有访问 host 为 www.mydlq.club ，且 path 为 “/test” 或者 “/dev” 的外部流量转发到对应的 Pod 上。

二、Traefik 介绍

Traefik 是一个流行的 HTTP 反向代理和负载均衡器，使用 Traefik 可以很方便的与现在流程的基础架构组件（如 Docker、Swarm、Kubernetes、Marathon、Consul、Etcd、Rancher、Amazon ECS ......）集成，并可以针对不同的组件实现动态配置。

三、部署 Ingress 控制器 Traefik

在定义 Ingress 之前我先首先拥有 Ingresss 控制器，以实现为后端所有服务统一入口。Ingresss 控制器也是以 Pod 形式运行在 Kubernetes 集群中，监控 API Server 的 /ingress 接口后端的backend services，如果 Service 发送变化，则 Ingress 控制器将自动更新其转发规则，下面我们开始部署 Traefik 到 Kubernetes 集群。

步骤简介：

(1)、创建 Traefik 配置文件，并将其以 ConfigMap 方式挂载到 Kubernetes 集群中。
(2)、生成 CA 证书，并将其以 Secret 方式挂载到 Kubernetes 集群中。
(3)、创建 Traefik Label 设置到 Kubernetes 节点(相当于设置了 Label 的节点是 Ingress 入口)。
(4)、创建 Traefik ServiceAccount 以提供 Traefik 一定权限。
(5)、创建 Traefik 控制器。

1、Traefik 两种部署方式介绍

在 Kubernetes 下有两种部署 Kubernetes 的方式：

Deployment
DeamonSet

两种部署方式的区别：

在 Kubernetes 利用 DaemonSet 方式部署的应用会在设置对应 Label 的 Kubernetes 节点上部署一个 Pod，每当新增 Kubernetes 节点后只要对新增的 Kubernetes 节点设置对应 Label 就可将 Traefik 扩展到该节点。但是也是因为如此，一个节点只能启用一个 Pod，这样对于 Traefik 的扩展非常不利，如果将外部流量大量指向某个节点，那么很可能会致使该节点的 Traefik 崩溃，但也是非常方便限制两个 Traefik Pod 起在不在同一节点上。使用 Deployment 方式的部署方式一般是部署无状态应用的，所以通过这种方式能够很轻松的扩展 Traefik 应用副本数。

如果用 DaemonSet 方式部署 Traefik 就可与使用该 “NET_BIND_SERVICE” 功能，这将允许它绑定到每个主机上的 80/443/etc 端口。这将允许绕过 kube-proxy，并减少流量跳跃。而 Deployment 这种部署方式是通过 kube-proxy 代理将流量转发到 Traefik，所以可以利用集群中所有节点的 IP 地址访问 Traefik，但是每新增一个 Kubernetes 节点后，如果想在该节点上设置 Traefik ，那么必须更改 Traefik Deployment 配置，增加副本数且使其在新节点上调度。

所以两种部署方式区别大概如下：

DaemonSet 方式能够确定有哪些节点在运行 Traefik，可以确定的知道后端 IP，但是不能方便的伸缩。 Deployment 可以方便的伸缩，但是不能确定有哪些节点在运行 Traefik ，所以不能确定的知道后端 IP。
使用 Deployment 时可伸缩性可以更好，DaemonSet 方式在新增节点时更易扩展。
DaemonSet 确保每个节点只有一个 Traefik Pod 在运行。而 Deployment 可以有多个副本。如果要确保两个pod不在同一节点上，则可以设置成Deployment。
DeamonSet 可以使用 “NET_BIND_SERVICE” 功能，这将允许它绑定到每个主机上的端口 80/443/etc。这将允许绕过kube-proxy，并减少流量跳跃。

这两张方式可以根据自己的需求选择其一即可。这里将介绍如何通过 DaemonSet 方式部署 Traefik Ingress。

2、创建 Traefik 配置文件

为了方便配置 Traefik，一般情况下将 Traefik 配置文件放置到容器外，这里以 ConfigMap 方式将配置文件存入 Kubernetes 集群，然后通过挂载方式将 ConfigMap 挂入 Traefik 容器中。

创建 traefik.toml 文件

traefik.toml

 1# traefik.toml
 2debug = true
 3InsecureSkipVerify = true
 4defaultEntryPoints = ["http","https"]
 5[entryPoints]
 6  [entryPoints.http]
 7    address = ":80"
 8    compress = true
 9  [entryPoints.https]
10    address = ":443"
11    compress = true
12    [entryPoints.https.tls]
13      [[entryPoints.https.tls.certificates]]
14        CertFile = "/ssl/tls.crt"
15        KeyFile = "/ssl/tls.key"
16  [entryPoints.traefik]
17    address = ":8080"
18[kubernetes]
19[traefikLog]
20  format = "json"
21  #filePath = "/data/traefik.log"
22[accessLog]
23  #filePath = "/data/access.log"
24  format = "json"
25  [accessLog.filters]
26    retryAttempts = true
27    minDuration = "10ms"
28  [accessLog.fields]
29    defaultMode = "keep"
30    [accessLog.fields.names]
31    "ClientUsername" = "drop"
32    [accessLog.fields.headers]
33      defaultMode = "keep"
34      [accessLog.fields.headers.names]
35        "User-Agent" = "redact"
36        "Authorization" = "drop"
37        "Content-Type" = "keep"
38[api]
39  entryPoint = "traefik"
40  dashboard = true

Traefik 配置文件中设置该 Traefik Ingress 允许以 HTTP、HTTPS 方式进入;
设置 SSL 统一的 CA 证书文件地址为“/ssl/tls.crt”,“/ssl/tls.key”方便后续通过 ConfigMap 方式将 CA 证书文件挂入其中。

3、将 Traefik 配置文件挂载到 ConfigMap

n 指定程序启的 Namespace
--from-file 读取文件生成 ConfigMap

1$ kubectl create configmap traefik-config --from-file=./traefik.toml -n kube-system

4、设置 CA 证书

这里设置 Traefik 统一的 CA 证书文件，如果已经有拥有认证的证书文件可以直接拿来用，或者也可以用 openssl 程序生成自签名证书。

生成自签名 CA 证书

openssl 工具生成 CA 自签名的证书

1$ openssl req -newkey rsa:2048 -nodes -keyout tls.key -x509 -days 9999 -out tls.crt

生成 secret 到 Kubernetes

1$ kubectl create secret generic traefik-ui-tls-cert --from-file=tls.crt --from-file=tls.key -n kube-system

5、给节点设置 Label

由于是 Kubernetes DeamonSet 这种方式部署 Traefik，所以需要提前给节点设置 Label，这样当程序部署时 Pod 会自动调度到设置 Label 的点上。

节点设置 Label 标签

格式：kubectl label nodes [节点名] [key=value]

1$ kubectl label nodes k8s-master-2-11 IngressProxy=true

查看节点是否设置 Label 成功

1$ kubectl get nodes --show-labels
2
3NAME            STATUS ROLES  VERSION  LABELS
4k8s-master-2-11 Ready  master v1.14.0  IngressProxy=true,kubernetes.io/hostname=k8s-master-2-11,kubernetes.io/os=linux,node-role.kubernetes.io/master=
5k8s-node-2-12   Ready  <none> v1.14.0  kubernetes.io/hostname=k8s-node-2-12,storagenode=glusterfs
6k8s-node-2-13   Ready  <none> v1.14.0  kubernetes.io/hostname=k8s-node-2-13,storagenode=glusterfs
7k8s-node-2-14   Ready  <none> v1.14.0  kubernetes.io/hostname=k8s-node-2-14,storagenode=glusterfs

可以看到已经设置上了 Label

6、创建 Traefik 服务账户与角色权限

Kubernetes 在 1.6 版本中引入了基于角色的访问控制（RBAC）策略，方便对 Kubernetes 资源和 API 进行细粒度控制。所以这里提前创建好 Traefik ServiceAccount 并分配一定的权限。

创建 traefik-rbac.yaml 文件

traefik-rbac.yaml

 1apiVersion: v1
 2kind: ServiceAccount
 3metadata:
 4  name: traefik-ingress-controller
 5  namespace: kube-system
 6  
 7---
 8
 9kind: ClusterRole
10apiVersion: rbac.authorization.k8s.io/v1beta1
11metadata:
12  name: traefik-ingress-controller
13rules:
14  - apiGroups: [""]
15    resources: ["services","endpoints","secrets"]
16    verbs: ["get", "watch", "list"]  
17  - apiGroups: ["extensions"]
18    resources: ["ingresses"]
19    verbs: ["get", "watch", "list"]  
20  - apiGroups: ["extensions"]
21    resources: ["ingresses/status"]
22    verbs: ["update"]  
23    
24---
25
26kind: ClusterRoleBinding
27apiVersion: rbac.authorization.k8s.io/v1beta1
28metadata:
29  name: traefik-ingress-controller
30subjects:
31- kind: ServiceAccount  
32  name: traefik-ingress-controller
33  namespace: kube-system
34roleRef:
35  kind: ClusterRole
36  name: traefik-ingress-controller
37  apiGroup: rbac.authorization.k8s.io

创建 Traefik RBAC

1$ kubectl apply -f traefik-rbac.yaml

7、创建 Traefik Ingress Controller

创建 traefik.yaml 文件

这里设置部署 Traefik 的 yaml 文件，里面包含 Traefik 的 Service 和 DaemonSet。Service 里面需要设置三个端口，分别为 80、443、8080，这三个端口分别对应 http端口、https端口、traefik admin控制台端口。DaemonSet 里面设置容器也暴露三个端口，其中 “80/443” 是使用特权端口的守护进程，阐述了静态（非NodePort）hostPort 绑定，这样相当于暴露当前 Traefik Pod 所在节点 IP，外部流量能通过该节点 IP 进入 Traefik Ingress。而 8080 是供 Traefik Dashboard 用的控制台端口，可以通过该端口访问 Traefik 控制台。

例如这里设置 Traefik 启动到 “k8s-master-2-11”，此节点的 IP 为 “192.168.2.11” ，这样外部想通过 Traefik Ingress 访问集群服务，必须通过该 IP 地址而不应通过 Kubernetes 集群 IP，相当于该节点充当了 Kubernetes 入口。

traefik.yaml

 1kind: Service
 2apiVersion: v1
 3metadata:
 4  name: traefik-ingress-service
 5  namespace: kube-system
 6spec:
 7  selector:
 8    k8s-app: traefik-ingress-lb
 9  ports:
10    - protocol: TCP
11      port: 80
12      name: http
13    - protocol: TCP
14      port: 443
15      name: https
16    - protocol: TCP
17      port: 8080
18      name: admin
19      
20---
21
22apiVersion: extensions/v1beta1
23kind: DaemonSet
24metadata:
25  name: traefik-ingress-controller
26  namespace: kube-system
27  labels:
28    k8s-app: traefik-ingress-lb
29spec:
30  template:
31    metadata:
32      labels:
33        k8s-app: traefik-ingress-lb
34        name: traefik-ingress-lb
35    spec:
36      serviceAccountName: traefik-ingress-controller
37      terminationGracePeriodSeconds: 60
38      containers:
39      - image: traefik:1.7.12
40        name: traefik-ingress-lb
41        ports:
42        - name: http
43          containerPort: 80
44          hostPort: 80                   #hostPort方式，将端口暴露到集群节点
45        - name: https
46          containerPort: 443
47          hostPort: 443                  #hostPort方式，将端口暴露到集群节点
48        - name: admin
49          containerPort: 8080
50        securityContext:
51          capabilities:
52            drop:
53            - ALL
54            add:
55            - NET_BIND_SERVICE
56        args:
57        - --api
58        - --kubernetes
59        - --logLevel=INFO
60        - --configfile=/config/traefik.toml
61        volumeMounts:
62        - mountPath: "/ssl"
63          name: "ssl"
64        - mountPath: "/config"
65          name: "config"
66      volumes:
67        - name: ssl
68          secret:
69            secretName: mydlqcloud-traefik-tls  
70        - name: config
71          configMap:
72            name: traefik-config 
73      tolerations:              #设置容忍所有污点，防止节点被设置污点
74      - operator: "Exists"
75      nodeSelector:             #设置node筛选器，在特定label的节点上启动
76        IngressProxy: "true"

部署 Traefik

1$ kubectl apply -f traefik.yaml

查看 Traefik 资源

 1$ kubectl get daemonset,service,pod -o wide -n kube-system
 2
 3NAME                                            DESIRED CURRENT  READY  UP-TO-DATE  AVAILABLE  NODE SELECTOR     CONTAINERS          IMAGES         
 4daemonset.extensions/traefik-ingress-controller 1       1        1      1           1          IngressProxy=true traefik-ingress-lb  traefik:1.7.12  
 5------------------------------------------------------------------------------------------------------------------------------------------------------
 6NAME                            TYPE      CLUSTER-IP    EXTERNAL-IP PORT(S)                 SELECTOR
 7service/traefik-ingress-service ClusterIP 10.10.114.105 <none>      80/TCP,443/TCP,8080/TCP k8s-app=traefik-ingress-lb
 8------------------------------------------------------------------------------------------------------------------------------------------------------
 9NAME                                  READY STATUS   RESTARTS IP          NODE             NOMINATED NODE READINESS GATES
10pod/traefik-ingress-controller-8rzwt  1/1   Running  3        10.20.0.29  k8s-master-2-11  <none>         <none>

到这里 Traefik 控制器已经部署完成，下面将同过暴露 Traefik Dashboard Ingres 来进行 Igress 配置示例。

四、配置 Ingress 访问策略

1、Ingress 规则配置简介

一个常规的路由策略如下所示，这里根据注解详细描述 Ingress 访问配置。

 1apiVersion: extensions/v1beta1
 2kind: Ingress
 3metadata:
 4  name: test-ingress                            #Ingress 资源名称
 5  annotations:
 6    kubernetes.io/ingress.class: traefik        #指定用 traefik 控制器,如果为 nginx 控制器则设置为 nginx
 7spec:
 8  rules:
 9  - host: cloud.mydlq.club                      #设置 host 匹配规则，外部流量访问该 host 时候进行代理操作
10    http:
11      paths:
12      - path: /traefik                          #设置 path，当 host 匹配后进行 path 匹配，根据 path 不同转发不同的服务 
13        backend:
14          serviceName: traefik-ingress-service  #设置 service 名称，和要跳转的 service 一致
15          servicePort: 8080                     #设置 service 端口

2、创建 Traefik Dashboard Ingress

上面部署的 Traefik 控制器默认有控制台服务，即 Traefik Service 的 8080 端口。

这里配置一个 Ingress，将这个 Dashboard 设置域名为 http://cloud.mydlq.club/traefik 暴露出去，其它服务也是类似这种方法将 Service 暴露出去。

创建 traefik-dashboard-ingress.yaml 文件

 1apiVersion: extensions/v1beta1
 2kind: Ingress
 3metadata:
 4  name: traefik-dashboard
 5  namespace: kube-system
 6  annotations:
 7    kubernetes.io/ingress.class: traefik                        #指定用 traefik 控制器
 8    traefik.frontend.rule.type: PathPrefixStrip                 #跳转后端时忽略 path
 9    traefik.ingress.kubernetes.io/frontend-entry-points: http   #指定只能以 http，方式访问，也可以设置 https
10spec:
11  rules:
12  - host: cloud.mydlq.club                                      #设置 host
13    http:
14      paths:
15      - path: /traefik                                          #设置 path
16        backend:
17          serviceName: traefik-ingress-service                  #设置 service 名称，和要跳转的 service 一致
18          servicePort: 8080                                     #设置 service 端口

创建 Traefik Dashboard Ingress

1$ kubectl apply -f traefik-dashboard-ingress.yaml

查看 Ingress

 1$ kubectl describe ingress traefik-dashboard -n kube-system
 2
 3Name:             traefik-dashboard
 4Namespace:        kube-system
 5Address:          
 6Default backend:  default-http-backend:80 (<none>)
 7TLS:
 8  SNI routes 
 9Rules:
10  Host              Path  Backends
11  ----              ----  --------
12  cloud.mydlq.club  
13                    /traefik   traefik-ingress-service:8080 (10.20.0.29:8080)
14Annotations:
15  kubernetes.io/ingress.class:                          traefik
16  traefik.frontend.rule.type:                           PathPrefixStrip
17  traefik.ingress.kubernetes.io/frontend-entry-points:  http
18Events:                                                 <none>