PVE系统使用ZFS导致k3s无法启动的解决方案

## K3s、ZFS

不幸的是，在从 ext4 迁移到 ZFS 之后，我发现k3s由于缺少对overlayfsZFS 的支持而导致崩溃。

在解决这个问题之前，我升级到 Debian bullseye。

## k3s, ZFS 和 overlayfs

`k3s`目前不支持 ZFS 快照程序。可以通过三种方法解决此问题：

* 使用外部 containerd 和 ZFS 快照程序（`containerd`支持 ZFS）。然而，我就没那么幸运了，几个小时后我就放弃了。
* 使用`native` snapshotter，它速度较慢并且消耗更多磁盘（将产生很多重复文件），但它可以工作。

* 只需编辑`/etc/systemd/system/k3s.service`并添加`--snapshotter native`到`k3s server`项目之后。
* **为k3s ”agent” 创建专用的ext4分区格式的ZVOL卷 。这是我最终选择的解决方案，因为它速度更快且占用空间更少。**

### 为k3s创建ZVOL

我们将利用 ZFS 的 ZVOL 功能来创建一个 ext4 卷以用作 overlayfs 的后端。ZVOL 是 ZFS 可以向系统公开的块设备（与作为 ZFS 文件系统的数据集相反）。这些 ZVOL 可以像普通块设备一样使用：我们将创建其中一个，用 ext4 格式化它并用它来托管 k3s agent目录。

```

# use zfs list see the zfs root path name and the space of disk, in my server which on PVE7 it's "rpool"
zfs list
# Create a sparse (-s) zvol (-V).
# "Sparse" means that the volume will be allocated as data is written into the
# volume. So this ZVOLs will grow over time, when needed, until 90G
zfs create -s -V 90GB rpool/k3s-agent

# Format the ZVOL as ext4
mkfs.ext4 /dev/zvol/rpool/k3s-agent

# Now you need to use /dev/zvol/zpool/k3s/agent as block device for the k3s
# agent directory.
# _netdev here means that this mount will be delayed until the network is
# ready: this is an hack to mount the ZVOL after the import of zpools
# (no network is needed)
echo "/dev/zvol/rpool/k3s-agent /var/lib/rancher/k3s/agent ext4 defaults,_netdev 0 0" >> /etc/fstab

# Mount the directory manually
mount /var/lib/rancher/k3s/agent

# if use k3s restart it
systemctl restart k3s
# if use rancher to install k3s, then restart agent
systemctl restart rancher-system-agent
```

‍

emengweb 's Blog

导航

最近发表

友情链接