Eu estava na sua situação há um ano. Na época eu fui com o OpenSolaris, e cerca de um mês depois o Sun / Oracle o matou, então não vá até lá. Seus pacotes não foram atualizados desde 2009.
Illumos e OpenIndiana parecem promissores, mas eu foi um pouco desanimado pelo fluxo da comunidade. Como tudo foi portado a partir do OpenSolaris e desde que esse recurso de codificador foi removido, tenho preocupações quanto à sua estabilidade e segurança a longo prazo.
É da minha opinião que agora o FreeBSD é a sua melhor aposta para o ZFS . Pessoalmente eu configuro o Ubuntu e o executo no espaço do usuário via FUSE, mas vejo um desempenho muito ruim com isso. Devo refazer minha configuração, eu teria ido com o FreeBSD.
Há também um bom desenvolvimento do ZFS no Linux em andamento atualmente. A última vez que verifiquei não tinha suporte POSIX adequado, mas parece que eles fizeram progresso nisso.
De qualquer forma, boa sorte com sua decisão e deixe-nos saber como está indo!