Você está provavelmente se deparando com problemas de ETag . O ETag padrão do Apache para arquivos estáticos é calculado usando o inode # do sistema de arquivos , então se você tiver dois servidores diferentes usando duas unidades diferentes, os arquivos serão marcados de forma diferente.
Adicione em cada servidor algo como
FileETag MTime Size
no nível global para excluir o inode # do cálculo. Então, certifique-se de que seus relógios estejam sincronizados e que os registros de data e hora em todos os arquivos sejam idênticos e você deve estar configurado.