TrueNAS zfs raidz扩展磁盘expand 背景 在使用 TrueNAS 4年后的今天，终于迎来了存储池空间使用率超过了90%，存储池是使用的 10 块 2T 做的 raidz3，即可以损失任意3块盘仍然保证数据安全，剩余的空间计算为 (10-3) x 2T = 14T，实际最大可用空间 11.98T，而现在剩余可用空间不足 1T 扩容问题 手头上刚好有一块 2T 的磁盘，是否可以加进去直接扩展空间呢？ 尝试在池中加入新盘，提示需要添加 5块 硬盘，实在难以理解为何一次扩容需要5块盘，因为之前玩群晖组raid6扩展还是相当方便的，基本上新增一块、两块扩展空间都可以。 所以根据这个特殊的要求，我查阅了一些资料，才发现问题不止是扩展需要5块硬盘那么简单，最少要5块是会在此池中新建一个vdev组，它具有此池相同的raidz功能，所以raidz3最低的要求是5块新盘，但它不会扩展到原有的空间，那这个方案是相当浪费空间的 于是我查询了一些关于raidz、zfs扩展的资料，截至到2024.08.01最新的资料如下： # 12楼 https://www.truenas.com/community/threads/raidz-expansion-best-method-when-increasing-disks-and-replacing-with-larger-at-same-time.105448/ # 4楼 https://www.truenas.com/community/threads/adding-a-drive-to-a-raidz1-pool.111805/ # 正规文档关于之前是如何扩展的（新建一个vdev） https://openzfs.org/wiki/OpenZFS_Developer_Summit_2023_Talks#RAIDZ_Expansion_(Matt_Ahrens_&_Don_Brady) # 关于解决方案和其他的一些讨论 https://www.truenas.com/community/threads/adding-disk-to-raidz1.111375/ # 关于扩展以及扩展后数据分布的讨论 https://github.com/openzfs/zfs/pull/15022 # 关于扩展以及数据分布的讨论后续 https://github.com/openzfs/zfs/discussions/15232 关于上面的讨论，大概在今年底 TrueNAS 可以集成这一功能，但不知道能否解决数据分布问题，raidz 与 raid 完全不同，其扩展后不会重新分布数据，导致原数据与新数据盘符存储不同，推荐的方法是，删除原数据重新创建，则会以新盘的数量重新分布 PS. 其他的解决方案 较推荐的是把原硬盘一个一个更换更大的盘，每更换一个则等到同步完成再继续，等所有硬盘更换后会自动扩展空间 新建一个更大的池，然后把数据同步过去

nas更换机器是如何识别硬盘的 0x1 问题背景 在机器损坏、机器盘位不够等情况下，我们可能需要把当前的nas迁移到一个扩展性更强的机器上。那如何能够保证数据安全呢？磁盘顺序有无要求？ 0x2 操作 大多数 nas 类型的服务器在迁移、更换磁盘的时候是支持任意槽位的，比如你在关机状态更换两块盘的顺序，迁移机器的时候全部插入另一台机器的任意槽位。这是因为 nas 机器基本上都是通过 gptid 来识别磁盘，而不是系统中设备名

truenas的升级 0x1 要点 升级先了解升级路径是怎么样的，然后去官网找手动升级包，实际测试在线升级花费时间太长，几百M的补丁包下载一天，比预计的1个小时多太多，然后最主要的是升级要求系统重启，在线升级太慢无法控制重启时间

truenas更换损坏、故障的存储池硬盘 0x1 参考文档： https://www.truenas.com/docs/core/coretutorials/storage/disks/diskreplace/ 磁盘、存储池故障的日志参考: 现象1 New alerts: * Device /dev/gptid/e1fd123b-8795-11ed-bee4-b083fedec519 is causing slow I/O on pool dev1. 现象2 New alerts: * Pool dev1 state is ONLINE: One or more devices has experienced an unrecoverable error. An attempt was made to correct the error. Applications are unaffected. 现象3 New alert: * Pool dev1 state is DEGRADED: One or more devices are faulted in response to persistent errors. Sufficient replicas exist for the pool to continue functioning in a degraded state. The following devices are not healthy: * Disk IBM-XIV HUS723020ALS64A4 YFHEUB3G is FAULTED * Device: /dev/da6, failed to read SMART values. * Device: /dev/da6, Read SMART Self-Test Log Failed. 在现象1中提示io缓慢的时候如何定位是哪个磁盘呢？先可以通过命令查看每个盘的情况 root@freenas[/dev/gptid]# zpool status pool: boot-pool state: ONLINE scan: scrub repaired 0B in 00:24:37 with 0 errors on Sat Jul 29 04:09:37 2023 config: NAME STATE READ WRITE CKSUM boot-pool ONLINE 0 0 0 mirror-0 ONLINE 0 0 0 da13p2 ONLINE 0 0 0 da12p2 ONLINE 0 0 0 errors: No known data errors pool: dev1 state: DEGRADED status: One or more devices are faulted in response to persistent errors. Sufficient replicas exist for the pool to continue functioning in a degraded state. action: Replace the faulted device, or use 'zpool clear' to mark the device repaired. scan: scrub repaired 0B in 11:48:41 with 0 errors on Sun Jul 30 11:48:42 2023 config: NAME STATE READ WRITE CKSUM dev1 DEGRADED 0 0 0 raidz3-0 DEGRADED 0 0 0 gptid/15954610-bc06-11ed-a407-b083fedec519 ONLINE 0 0 0 gptid/e1b6b74b-8795-11ed-bee4-b083fedec519 ONLINE 0 0 0 gptid/e1fd123b-8795-11ed-bee4-b083fedec519 FAULTED 12 11 0 too many errors gptid/bb486a3d-c7d5-11ed-a407-b083fedec519 ONLINE 0 0 0 gptid/e249a2c9-8795-11ed-bee4-b083fedec519 ONLINE 0 0 0 gptid/034b850b-bc17-11ed-a407-b083fedec519 ONLINE 0 0 0 gptid/e1e4d7ce-8795-11ed-bee4-b083fedec519 ONLINE 0 0 0 gptid/e23f6124-8795-11ed-bee4-b083fedec519 ONLINE 0 0 0 gptid/e2971a19-8795-11ed-bee4-b083fedec519 ONLINE 0 0 0 gptid/e25d107c-8795-11ed-bee4-b083fedec519 ONLINE 0 0 0 errors: No known data errors 可以使用如下命令查看 gptid 对应的分区: label status | tail -n +2 | sort -k53 接着会看到有的盘会有多个分区，那么每个分区分别是什么呢，可以使用如下命令查询: gpart show

truenas之更换或者添加启动盘的问题 0x1 背景： 这个问题的背景比较深，需要多讲点。首先就是从freenas升级到truenas之后提示推荐使用磁盘作为启动设备了，众所周知以前freenas是推荐使用小容量的U盘的。所以我们根据最新推荐空出两块SSD，然后设置这两块SSD作为启动设备了。 在后来的一次故障处理后重启truenas，发现系统无法引导了，没有显示启动项。在经过排查后发现把硬盘放入硬盘盒后再接入USB口是可以识别并启动成功。这是为什么呢？ 查阅资料后发现可能性和解决办法如下： https://www.youtube.com/watch?v=dJyQVLPjWbo 大概率就是因为使用的直通模式，那么想要期中一块盘作为启动盘，那么需要在某个配置中指定下。所以尝试开机进入 ctrl + c，根据视频操作，进入后分别用 alt + b 和 alt + a 设置了两块SSD为启动盘，可是结果仍未启动成功 再次分析，可能之前是直接安装到U盘中，使用USB启动，那么这些数据可能不兼容硬盘启动，猜测可能要解决这个问题，需要在插入硬盘的状态下，直接重装系统到硬盘后，再次进入配置设置这些硬盘为启动设备。 此次问题： 因为时间的问题，以上的猜测并没有测试，而是选择继续使用U盘启动，而这些硬盘也打算在替换U盘后拿掉。所以我们还是在硬盘放入硬盘盒后启动系统成功。接着插入U盘，选择添加U盘作为启动设备，然而报错，设备空间太小。 0x2 在经过查阅资料后发现其他网友也是遇到过这个问题的，大概的解释为，truenas添加的启动盘，大小要等于或者大于第一块盘，否则就算你空间是足够的，那也会报错。 https://www.truenas.com/community/threads/device-is-too-small-when-mirroring-boot-device-flash.26722/ 所以解决办法那只有一个了，顺序如下： 保存truenas的配置文件 拿掉所有的启动盘 重新安装系统到最小的U盘 恢复配置文件 最后启动盘就变成了最小的这个U盘了，如果要继续增加启动设备做冗余的话，那么新家的这个U盘大小最好是跟当前这个U盘大小一致，