Se o acesso somente leitura for aceitável, então SquashFS é uma boa escolha.
No entanto, parece que você também pode fazer atualizações em vigor. O Btrfs pode ser uma opção para você. Ainda é considerado algo experimental, mas suporta compactação de arquivos transparente , e está disponível para tentar na maioria distros.
A outra abordagem é fazer isso no espaço do usuário, através do FUSE . A mais plausível das opções aqui é provavelmente fusecompress .