Embora eu adoraria ver algo como o ZFS disponível para hosts Windows, o NTFS não é um sistema de arquivos horrível. Ele suporta a maioria dos recursos de sistema de arquivos "modernos" (atributos estendidos, registro no diário, ACLs, o nome dele), mas é prejudicado pelo Explorer e a maioria dos outros aplicativos não suportam nenhum desses recursos.
Uma coisa que absolutamente matará seu desempenho é ter entradas "demais" em um diretório. Depois de passar um par de milhares de entradas em um diretório, tudo diminui para um rastreamento. Literalmente, a máquina inteira parará de esperar que o NTFS crie ou remova entradas quando isso acontecer.
Eu costumava trabalhar com um aplicativo que gerava documentos baseados em HTML para assemblies .NET; ele criaria um arquivo por propriedade, método, classe, espaço de nomes, etc. Para montagens maiores, veríamos arquivos de 20 + k, todos bem colocados em um único diretório. A máquina passaria algumas horas durante a construção bloqueada no NTFS.
Em teoria, o Windows suporta plug-ins de sistema de arquivos, o que tornaria possível o ZFS nativo, o ext3 ou qualquer outro (mesmo FUSE). Na prática, as APIs não são documentadas, então você está completamente sozinho.
Agora, como você está desenvolvendo Java, você poderia instalar um sistema operacional diferente em sua máquina ou usar uma VM no topo do Windows?
Além disso, você pode querer experimentar alguns benchmarks de sistema de arquivos independentes de plataforma (iozone, bonnie ... provavelmente há outros mais modernos que eu não conheço, talvez até alguns escritos em Java) para veja se é realmente o sistema de arquivos que o retém ou se é outra coisa. Otimização prematura e tudo isso ...