A resposta depende da capacidade de compactação das suas respostas e do tamanho médio da resposta. Para tamanhos pequenos, a sobrecarga do gzip tornará sua saída maior do que a descompactada e mastigará CPU desnecessária.
O Tomcat, por exemplo, usa 2kb como o tamanho mínimo compressível padrão. Se sua API está retornando JPGs, a compactação também será uma proposta perdida.
Sua abordagem deve ser fazer um histograma se os tamanhos de resposta e taxas de compactação e ajustar o filtro de compressão para pular objetos que são muito pequenos para fornecer uma compactação razoável.