O ZFS em conjunto com seu ARC se comporta da maneira que você quer. Mas a implementação do Linux é feita no espaço do usuário (FUSE) devido a problemas de licenciamento e eu não confiaria em um aplicativo sensível ao desempenho com altos requisitos de tempo de atividade às implementações do FUSE.
Há também o BTRFS , que é bastante semelhante ao ZFS em seus conceitos, para que o comportamento do cache também seja semelhante. Mas sua implementação é atualmente explicitamente experimental.
Se você está preso ao Linux, provavelmente está preso à resolução do seu problema - pelo menos no momento.