Você pode desacoplar a parte "empacotar todos os arquivos" de "compactar o máximo possível" e brincar com diferentes opções de compactação para ver qual tem uma troca aceitável entre tempo / memória / tamanho:
tar cvf - ./APP_sys | gzip -9 > APP_sys.tar.gz
Ou
tar cvf - ./APP_sys | bzip2 --best > APP_sys.tar.gz
Ou
tar cvf - ./APP_sys | xz -9e > APP_sys.tar.xz
Qual software de compactação de arquivos para linux oferece a maior redução de tamanho?