Você leu o Guia de ajuste do ZFS , certo?
As versões iniciais do ZFS tinham mais do que alguns problemas com o gerenciamento de memória, especialmente ao usar as opções de desduplicação e / ou compactação. Por muito tempo, uma receita simples para o ZFS trava era definir compression = gzip e começar a copiar dados. Versões posteriores do ZFS são muito melhores. Se você puder, você deve atualizar para o FreeBSD 8.4 ou 9.1.
Eu tenho um sistema muito semelhante em casa (16GB de RAM, 2 discos SATA de 3TB no espelho do ZFS) que tem sido sólido desde a atualização para o FreeBSD 9.1. Eu tenho a compressão ativada e essas configurações em /boot/loader.conf:
# attempts to get ZFS more stable
vfs.zfs.arc_max="4096M"
kern.maxvnodes=250000
vfs.zfs.prefetch_disable=1
vm.kmem_size="1024M"
vm.kmem_size_max="1024M"
Outra coisa a verificar são as configurações da sua placa-mãe para as portas SATA. Inicialmente, minha placa-mãe tinha as portas SATA configuradas para o modo IDE e o desempenho sob o ZFS era horrível, fazendo com que a exaustão da memória fosse pior. Depois de mudá-los para o modo AHCI, os discos funcionam muito bem.