fix link
[KenyonWiki.git] / FreeBSD_ZFS_boot.mdwn
1 In 2009, I set up FreeBSD to boot from a ZFS mirrored dataset. This page documents how I did it.
2
3 [[!toc]]
4
5 ## Hardware
6 Pentium 4 (i386) system with three 80-GB hard disks: ad2, ad4, and ad6. 3 GB RAM.
7
8 ## Goals
9 * Have only ZFS.
10 * Have a mirror setup in the zpool.
11 * Have the system bootable from any of the disks in the mirror.
12
13 ## Procedure
14 First I did a standard UFS2 minimal install of FreeBSD 8.0-BETA2 to ad2, csup to RELENG_8 (also known as 8-STABLE), and [[rebuilt world and kernel|FreeBSD rebuild]] with ZFS loader support. I also built a custom kernel with "options KVA_PAGES=512" (necessary for i386, see the ZFS tuning guide) and a more specific configuration for my hardware.
15
16 These settings are on the ad2 system (they also need to be on the resulting ZFS system):
17
18     echo 'KERNCONF=KRZFSOHM GENERIC' >> /etc/make.conf
19     echo 'LOADER_ZFS_SUPPORT=YES' >> /etc/make.conf
20     echo 'daily_status_zfs_enable="YES"' >> /etc/periodic.conf
21
22 These need to be only on the resulting ZFS system, not on the UFS system:
23
24     echo 'zfs_load="YES"' >> /ohm/boot/loader.conf
25     echo 'vfs.root.mountfrom="zfs:ohm"' >> /ohm/boot/loader.conf
26     echo 'zfs_enable="YES"' >> /ohm/etc/rc.conf
27
28 ohm is the name of my zpool. Here we go:
29
30     # Force the zpool creation due to the disks being slightly different sizes,
31     # since they are from different manufacturers. ZFS should make use of the
32     # smaller disk's size for the mirror (according to the ZFS cheat sheet, see
33     # the references section).
34     zpool create -f ohm mirror ad4 ad6
35     zpool set bootfs=ohm ohm
36     sh -c 'for fs in tmp usr/home var/log; do zfs create -p ohm/$fs; done'
37     chmod -v 1777 /ohm/tmp
38     mkdir -v /ohm/dev
39     cd /ohm && ln -s -w -v usr/home home
40     cd /ohm/var && ln -s -w -v ../tmp tmp && cd
41     zfs create -V 6gb ohm/swap
42     zfs set org.freebsd:swap=on ohm/swap
43     zfs set checksum=off ohm/swap
44
45     # Go to single user mode for safety and speed.
46     shutdown now
47
48     find -d / -not -path /ohm\* -not -path /etc/fstab -not -path /dev\* -not -path /tmp\* -not -path /var/tmp\* -not -path /usr/obj\* | cpio -pmuvd /ohm
49
50     echo 'vfs.root.mountfrom="zfs:ohm"' >> /ohm/boot/loader.conf
51     echo 'zfs_enable="YES"' >> /ohm/etc/rc.conf
52     echo -e "#Device\t\tMountpoint\tFStype\tOptions\t\tDump\tPass#" > /ohm/etc/fstab
53
54     zpool export ohm && zpool import ohm
55     cp -vi /boot/zfs/zpool.cache /ohm/boot/zfs
56     zpool export ohm
57     dd if=/boot/zfsboot of=/dev/ad4 bs=512 count=1
58     dd if=/boot/zfsboot of=/dev/ad6 bs=512 count=1
59     dd if=/boot/zfsboot of=/dev/ad4 bs=512 skip=1 seek=1024
60     dd if=/boot/zfsboot of=/dev/ad6 bs=512 skip=1 seek=1024
61
62     zpool import ohm
63     zfs set mountpoint=legacy ohm
64     sh -c 'for fs in tmp usr var; do zfs set mountpoint=/$fs ohm/$fs; done'
65
66     reboot
67     # Remember to change the BIOS hard drive boot priority setting.
68
69     # Add ad2 to the zpool to make it a 3-way mirror.
70     gpart delete -i 1 ad2
71     gpart destroy ad2
72     dd if=/boot/zfsboot of=/dev/ad2 bs=512 count=1
73     dd if=/boot/zfsboot of=/dev/ad2 bs=512 skip=1 seek=1024
74     zpool attach ohm ad4 ad2
75
76 ## zfs internal error: failed to initialize ZFS library
77 This error happens when first trying to use ZFS commands in the FreeBSD livefs environment.
78
79 Solution:
80
81     kldload /dist/boot/kernel/opensolaris.ko
82     kldload /dist/boot/kernel/zfs.ko
83
84 Reference: <http://www.freebsd.org/cgi/query-pr.cgi?pr=118855>
85
86 ## References
87 None of these references contained precise instructions on how to do exactly what I wanted to do, but they all helped me figure this out.
88
89 * [[!freebsdwiki ZFS]]
90 * [[!freebsdwiki ZFSTuningGuide]]
91 * [[!freebsdwiki ZFSOnRootWithZFSboot]]
92 * <http://www.waishi.jp/~yosimoto/diary/?date=20080909> (Japanese)
93 * <http://www.freebsd.org/doc/en/books/handbook/filesystems-zfs.html>
94 * <http://www.lildude.co.uk/zfs-cheatsheet/>
95 * <http://outpost.h3q.com/patches/manageBE/create-FreeBSD-ZFS-bootfs.txt>
96 * <http://lulf.geeknest.org/blog/freebsd/Setting_up_a_zfs-only_system/>
97 * <http://unix.derkeiler.com/Mailing-Lists/FreeBSD/stable/2009-05/msg00539.html>
98 * <http://unix.derkeiler.com/Mailing-Lists/FreeBSD/stable/2009-05/msg00546.html>
99 * <http://www.freebsd.org/cgi/query-pr.cgi?pr=118855>
100 * The FreeBSD manual pages, including [zpool](http://www.freebsd.org/cgi/man.cgi?query=zpool&apropos=0&sektion=0&manpath=FreeBSD+8-current&format=html) and [zfs](http://www.freebsd.org/cgi/man.cgi?query=zfs&apropos=0&sektion=0&manpath=FreeBSD+8-current&format=html)
101
102 [[!tag FreeBSD]]