$ ls ~yifei/notes/

使用 multipass+autok3s 快速搭建本地 k3s 集群

Posted on:

Last modified:

最近要迁移一个老服务到 kubernetes 上，自然需要在本地先测试好，然后再部署到生产集群中。 然而 Docker Desktop 性能实在太差，而且已经不再免费了，所以研究了下其他工具，遂有本文。

用到的工具

  • multipass 是 Ubuntu 背后的厂商 Canonical 推出的一款虚拟机工具，可以在本地快速搭建起一个 Ubuntu 集群用于开发和测试。
  • k3s 是 Rancher 推出的一个轻量级 k8s 发行版。
  • autok3s 是 Rancher 中国推出的一款自动部署 k3s 集群的工具。
  • arkade 是一个快速安装 k8s 相关 cli 和 helm package 的命令行工具。
  • podman 是一个开源的 docker 替代工具。

我们可以结合以上工具在 macOS 或 Linux 上快速搭建一个本地的 k8s 集群。

安装集群

# Ubuntu 官方提供的虚拟机工具
brew install multipass

# 创建几个节点，分别是2核2G和2核4G，我的机器是 32G/2T，创建这几个节点还是绰绰有余的
multipass launch -c 2 -m 2G -d 40G -n primary
multipass launch -c 2 -m 4G -d 40G -n worker1
multipass launch -c 2 -m 4G -d 40G -n worker2

# 为了方便，把宿主机的家目录 mount 到虚拟机上
# 因为 primary 机器默认已经 mount 了，只需要 mount worker 节点
multipass mount $HOME worker1:/home/ubuntu/Home
multipass mount $HOME worker2:/home/ubuntu/Home

# 这时候我们已经可以登录了
multipass shell primary/worker1/worker2

# 为了方便，把宿主机默认的 ssh key 复制过去
# 在每个虚拟机中都执行
cat Home/.ssh/id_rsa.pub >> .ssh/authorized_keys

# 回到宿主机，安装 arkade + autok3s. Arkade 是一个 kubernetes 相关工具的快捷安装包
brew install arkade
arkade get autok3s  # 可能需要按照提示把 autok3s 加入 PATH

# 首先 看一下机器的 IP
mulitpass ls
# Name                    State             IPv4             Image
# primary                 Running           192.168.64.2     Ubuntu 20.04 LTS
# worker1                 Running           192.168.64.3     Ubuntu 20.04 LTS
# worker2                 Running           192.168.64.4     Ubuntu 20.04 LTS

# 测试一下 ssh
ssh ubuntu@182.168.63.3

# 开始创建集群，这里我选择的名字是 imac，因为我是在自己的 iMac 上创建的集群。
# native provider 指的是使用普通的 Linux 节点，因为 autok3s 还支持众多云厂商。
autok3s -d create \
    --provider native \
    --name imac \
    --ssh-user ubuntu \
    --ssh-key-path $HOME/.ssh/id_rsa \
    --master-ips 192.168.64.2 \
    --worker-ips 192.168.64.3,192.168.64.4

# 稍等片刻，可以看到集群已经创建成功了
# 按照日志中的提示，切换配置到这个集群
autok3s kubectl config use-context imac
# 然后就可以使用了~
autok3s kubectl get pods -A
# NAMESPACE     NAME                                      READY   STATUS              RESTARTS   AGE
# kube-system   local-path-provisioner-84bb864455-qg76v   1/1     Running             0          2m24s
# kube-system   coredns-96cc4f57d-6mq9f                   1/1     Running             0          2m24s
# kube-system   helm-install-traefik-crd--1-2b7cc         0/1     Completed           0          2m24s
# kube-system   helm-install-traefik--1-5k4lg             0/1     Completed           1          2m24s
# kube-system   metrics-server-ff9dbcb6c-r7tzn            1/1     Running             0          2m24s
# kube-system   svclb-traefik-9sc9z                       2/2     Running             0          104s
# kube-system   traefik-56c4b88c4b-xmffz                  1/1     Running             0          104s
# kube-system   svclb-traefik-cvk8w                       2/2     Running             0          56s
# kube-system   svclb-traefik-hj8cs                       0/2     ContainerCreating   0          20s

# 万一中途因为网络或者 ssh 配置错误等原因失败了，可以删掉有问题的集群重来
autok3s list
autok3s -d delete --provider native --name imac
# 如果还有没清理干净的残留，可以登录到虚拟机上使用 k3s-uninstall 脚本继续清理

# 安装后的 kubeconfig 文件默认在 ~/.autok3s/.kube/config 中，复制出来可以直接使用 kubectl
mkdir -p ~/.kube
cp ~/.autok3s/.kube/config ~/.kube/config
kubectl get pods -A

# 使用 arkade 安装 portainer 管理面板
arkade install portainer
kubectl port-forward -n default svc/portainer 9000:9000

# 打开 localhost:9000 就可以看到 portainer 的界面啦~

portainer

到这里，集群就部署好啦，接下来我们部署一个 demo app 上去！

部署应用

搭建 docker registry

因为我的目的只是在本地做实验，所以没必要上传镜像到外部的 registry 上。但是本地的镜像也 不能在集群中直接使用。为了解决这个问题，我们在集群内部搭建一个 docker registry，用于把 镜像上传到集群中。为了把 registry 暴露到宿主机，我们还需要安装 ingress-nginx，并且在本地 和每个虚拟机的 /etc/hosts 中添加对应的域名。

这里，我们使用 docker.imac.local 作为本地仓库的域名。

# 删除 k3s 自带的 traefik
kubectl delete svc/traefik -n kube-system
kubectl delete deploy/traefik -n kube-system

# 安装 ingress nginx
arkade install ingress-nginx

# 在 k8s 内部安装 docker registry
arkade install docker-registry --email you@example.com --domain docker.imac.local
# 在日志最后会输出密码，先记下来，不要丢了。本地的密码，亮出来也无所谓。
# export PASSWORD=zZPFqGO73IE26823434g

# 在宿主机为我们的 registry 添加域名 docker.imac.local
echo '192.168.64.2 docker.imac.local' >> /etc/hosts
# 如果是在 mac 上，还需要登录 podman 虚拟机，执行同样的操作
podman machine ssh
echo '192.168.64.2 docker.imac.local' >> /etc/hosts
# 登录 multipass 的虚拟机，执行同样的操作
mulitpass shell primary/worker1/worker2
echo '192.168.64.2 docker.imac.local' >> /etc/hosts
# 让 k3s 集群忽略 tls 错误, 同样需要在每台虚拟机上执行
cat >> /etc/rancher/k3s/registries.yaml << EOF
configs:
  "docker.imac.local":
    auth:
      username: admin
      password: zZPFqGO73IE26823434g  # 上面打印出的密码
    tls:
      insecure_skip_verify: true
EOF
# 在每台虚拟机，依次重启 k3s
sudo systemctl restart k3s  # master
sudo systemclt restart k3s-agent  # worker

# 宿主机上，使用 curl 验证一下，因为集群中使用的是自签名证书，这里使用 -k/--insecure 选项
# 忽略证书错误。
# 可以看到 404，说明 ingress controller 安装成功。但是集群还不知道这个域名该路由到哪个服务，
# 所以返回了 404 Not Found
curl -k https://docker.imac.local
# <html>
# <head><title>404 Not Found</title></head>
# <body>
# <center><h1>404 Not Found</h1></center>
# <hr><center>nginx</center>
# </body>
# </html>

# 安装 registry ingress
arkade install docker-registry-ingress

# 登录，同样忽略证书错误
podman login docker.imac.local --tls-verify=false
# Username: admin
# Password:
# Login Succeeded!

registry 部署好之后，就可以打包推送镜像上去了。

部署服务

写一个简单的页面来演示如何部署服务。

mkdir test
cd test

# 这是最后要验证的结果
cat >> index.html << EOF
<p>Hello from Test App.</p>
EOF

# 基于 nginx 镜像，把这个文件拷进去
cat >> Dockerfile << EOF
FROM nginx

COPY index.html /usr/share/nginx/html/
EOF

# 构建镜像
podman build . -t docker.imac.local/test-app
# push 到我们的私有 registry 中
podman push docker.imac.local/test-app --tls-verify=false

我们打算部署到 test-app.imac.local 这个域名，所以还需要在本机添加 DNS：

echo '192.168.64.2 test-app.imac.local' >> /etc/hosts

下面是要部署的服务的配置文件，都是最基础的配置，不再展开赘述。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: test-app
spec:
  selector:
    matchLabels:
      app: test-app
  template:
    metadata:
      labels:
        app: test-app
    spec:
      containers:
      - name: test-app
        # 使用刚刚打包的镜像
        image: docker.imac.local/test-app
        ports:
        - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: test-service
spec:
  selector:
    app: test-app
  ports:
  - name: http
    port: 80
    protocol: TCP
    targetPort: 80
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: test-ingress
  annotations:
    kubernetes.io/ingress.class: nginx
spec:
  rules:
  - host: test-app.imac.local
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: test-service
            port:
              number: 80

部署：

kubectl apply -f app.yaml

然后测试一下：

curl -k https://test-app.imac.local

<p>Hello from Test App.</p>

浏览器打开：

test-app

大功告成啦！如果要部署新的服务，只需要部署时在本机 /etc/hosts 中添加对应的域名就可以啦！

附录 - k3s 简介

k3s 是 rancher 出品的一个 Kubernetes 发行版，特点是单二进制文件，小巧且不吃资源，甚至可以 在树莓派上部署。虽然它对许多组件做了替换，如把 etcd 替换成了 sqlite3，但是依然是一个 通过了官方认证的 Kubernetes 发行版。

除了 k3s 以外，还有一些其他的精简 k8s 发行版，比如 microk8s, kind, minikube 等等，但是 都远远没有 k3s 轻量。

  • autok3s 类似工具还有 - k3sup, 它主要面向国外云厂商，而 autok3s 主要面向国内云厂商。
  • k3s 默认带了自己的 local-path provider，可以直接创建 PV.
  • k3s 安装后会利用 iptables 规则拦截 80 端口的流量
  • k3s 默认在监听 0.0.0.0，可以使用安全组禁用 API 端口了。

参考

  1. https://docs.rancher.cn/docs/k3s/autok3s/native/_index
  2. https://web.archive.org/web/20201124123950/https://www.portainer.io/2020/04/portainer-for-kubernetes-in-less-than-60-seconds/
  3. https://stackoverflow.com/questions/51511547/empty-address-kubernetes-ingress
  4. k3s 官方文档
  5. https://www.reddit.com/r/kubernetes/comments/be0415/k3s_minikube_or_microk8s/
  6. https://brennerm.github.io/posts/minikube-vs-kind-vs-k3s.html
  7. 非常全的一份文档
  8. https://github.com/k3s-io/k3s/issues/2403
  9. https://blog.oddbit.com/post/2018-02-27-listening-for-connections-on-a/
  10. k3s with external etcd
WeChat Qr Code

© 2016-2022 Yifei Kong. Powered by ynotes

All contents are under the CC-BY-NC-SA license, if not otherwise specified.

Opinions expressed here are solely my own and do not express the views or opinions of my employer.

友情链接: MySQL 教程站