add wikipedia link
[KenyonWiki.git] / FreeBSD_ZFS_boot.mdwn
1 In 2009, I set up FreeBSD to boot from a ZFS mirrored dataset. This page documents how I did it.
2
3 [[!toc]]
4
5 ## Hardware
6 Pentium 4 (i386) system with three 80-GB hard disks: ad2, ad4, and ad6. 3 GB RAM.
7
8 ## Goals
9 * Have only ZFS.
10 * Have a mirror setup in the zpool.
11 * Have the system bootable from any of the disks in the mirror.
12
13 ## Procedure
14 First I did a standard UFS2 minimal install of FreeBSD 8.0-BETA2 to ad2, csup to RELENG_8 (also known as 8-STABLE), and [[rebuilt world and kernel|FreeBSD rebuild]] with ZFS loader support. I also built a custom kernel with "options KVA_PAGES=512" (necessary for i386, see the ZFS tuning guide) and a more specific configuration for my hardware.
15
16 These settings are on the ad2 system (they also need to be on the resulting ZFS system):
17
18 [[!format sh """
19 echo 'KERNCONF=KRZFSOHM GENERIC' >> /etc/make.conf
20 echo 'LOADER_ZFS_SUPPORT=YES' >> /etc/make.conf
21 echo 'daily_status_zfs_enable="YES"' >> /etc/periodic.conf
22 """]]
23
24 These need to be only on the resulting ZFS system, not on the UFS system:
25
26 [[!format sh """
27 echo 'zfs_load="YES"' >> /ohm/boot/loader.conf
28 echo 'vfs.root.mountfrom="zfs:ohm"' >> /ohm/boot/loader.conf
29 echo 'zfs_enable="YES"' >> /ohm/etc/rc.conf
30 """]]
31
32 ohm is the name of my zpool. Here we go:
33
34 [[!format sh """
35 # Force the zpool creation due to the disks being slightly different sizes,
36 # since they are from different manufacturers. ZFS should make use of the
37 # smaller disk's size for the mirror (according to the ZFS cheat sheet, see
38 # the references section).
39 zpool create -f ohm mirror ad4 ad6
40 zpool set bootfs=ohm ohm
41 sh -c 'for fs in tmp usr/home var/log; do zfs create -p ohm/$fs; done'
42 chmod -v 1777 /ohm/tmp
43 mkdir -v /ohm/dev
44 cd /ohm && ln -s -w -v usr/home home
45 cd /ohm/var && ln -s -w -v ../tmp tmp && cd
46 zfs create -V 6gb ohm/swap
47 zfs set org.freebsd:swap=on ohm/swap
48 zfs set checksum=off ohm/swap
49
50 # Go to single user mode for safety and speed.
51 shutdown now
52
53 find -d / -not -path /ohm\* -not -path /etc/fstab -not -path /dev\* -not -path /tmp\* -not -path /var/tmp\* -not -path /usr/obj\* | cpio -pmuvd /ohm
54
55 echo 'vfs.root.mountfrom="zfs:ohm"' >> /ohm/boot/loader.conf
56 echo 'zfs_enable="YES"' >> /ohm/etc/rc.conf
57 echo -e "#Device\t\tMountpoint\tFStype\tOptions\t\tDump\tPass#" > /ohm/etc/fstab
58
59 zpool export ohm && zpool import ohm
60 cp -vi /boot/zfs/zpool.cache /ohm/boot/zfs
61 zpool export ohm
62 dd if=/boot/zfsboot of=/dev/ad4 bs=512 count=1
63 dd if=/boot/zfsboot of=/dev/ad6 bs=512 count=1
64 dd if=/boot/zfsboot of=/dev/ad4 bs=512 skip=1 seek=1024
65 dd if=/boot/zfsboot of=/dev/ad6 bs=512 skip=1 seek=1024
66
67 zpool import ohm
68 zfs set mountpoint=legacy ohm
69 sh -c 'for fs in tmp usr var; do zfs set mountpoint=/$fs ohm/$fs; done'
70
71 reboot
72 # Remember to change the BIOS hard drive boot priority setting.
73
74 # Add ad2 to the zpool to make it a 3-way mirror.
75 gpart delete -i 1 ad2
76 gpart destroy ad2
77 dd if=/boot/zfsboot of=/dev/ad2 bs=512 count=1
78 dd if=/boot/zfsboot of=/dev/ad2 bs=512 skip=1 seek=1024
79 zpool attach ohm ad4 ad2
80 """]]
81
82 ## zfs internal error: failed to initialize ZFS library
83 This error happens when first trying to use ZFS commands in the FreeBSD livefs environment.
84
85 Solution:
86
87 [[!format sh """
88 kldload /dist/boot/kernel/opensolaris.ko
89 kldload /dist/boot/kernel/zfs.ko
90 """]]
91
92 Reference: <http://www.freebsd.org/cgi/query-pr.cgi?pr=118855>
93
94 ## References
95 None of these references contained precise instructions on how to do exactly what I wanted to do, but they all helped me figure this out.
96
97 * [[!freebsdwiki ZFS]]
98 * [[!freebsdwiki ZFSTuningGuide]]
99 * [[!freebsdwiki ZFSOnRootWithZFSboot]]
100 * <http://www.waishi.jp/~yosimoto/diary/?date=20080909> (Japanese)
101 * <http://www.freebsd.org/doc/en/books/handbook/filesystems-zfs.html>
102 * <http://www.lildude.co.uk/zfs-cheatsheet/>
103 * <http://outpost.h3q.com/patches/manageBE/create-FreeBSD-ZFS-bootfs.txt>
104 * <http://lulf.geeknest.org/blog/freebsd/Setting_up_a_zfs-only_system/>
105 * <http://unix.derkeiler.com/Mailing-Lists/FreeBSD/stable/2009-05/msg00539.html>
106 * <http://unix.derkeiler.com/Mailing-Lists/FreeBSD/stable/2009-05/msg00546.html>
107 * <http://www.freebsd.org/cgi/query-pr.cgi?pr=118855>
108 * The FreeBSD manual pages, including [zpool](http://www.freebsd.org/cgi/man.cgi?query=zpool&apropos=0&sektion=0&format=html) and [zfs](http://www.freebsd.org/cgi/man.cgi?query=zfs&apropos=0&sektion=0&format=html)
109
110 [[!tag FreeBSD]]