Não há um método especial para fazer isso. Para criar subvolumes, da mesma forma que arquivos ou diretórios comuns, você precisa ter seu pai montado em algum lugar ...
# mkdir /mnt/toplevel
# mount /dev/sda2 /mnt/toplevel -o subvolid=5
... e crie um subvolume filho:
# btrfs subvolume create /mnt/toplevel/new_subvolume
# ls -la /mnt/toplevel
total 16K
drwxr-xr-x 1 root root 36 Sep 10 15:13 ./
drwxr-xr-x 1 root root 26 Mar 1 14:18 ../
drwxr-xr-x 1 root root 14 Sep 10 15:48 home/
drwxr-xr-x 1 root root 0 Mar 1 14:19 new_subvolume/
drwxr-xr-x 1 root root 150 Feb 19 13:07 root/
# umount /mnt/toplevel
(Nota: por padrão, subvolid=5
já é o padrão e não precisa ser especificado. Eu só o adicionei no caso de você ter feito btrfs subvolume set-default
antes).