Você pode usar o UnionFS que parece estar ativamente desenvolvido ou, no caso de os diretórios serem discos rígidos separados, MHDDFS , mas vejo menos referências a essa última.
EDITAR: Existe um artigo da wikipedia com informações mais palatáveis no UnionFS