mod_deflate
não enviará saída compactada, a menos que o cliente indique que ela é compatível. O cliente faz isso enviando um cabeçalho de Accept-Encoding: gzip
na solicitação original.
curl
não faz isso por padrão. Mas você pode instruí-lo para fazer isso com o comando:
curl --compressed -I http://host/robots.txt