GZIP=-9 tar cvzf file.tar.gz /path/to/directory
assumindo que você esteja usando o bash. Geralmente, defina a variável de ambiente GZIP como "-9" e execute tar normalmente.
Além disso, se você realmente deseja a melhor compactação, não use o gzip. Use lzma ou 7z.
E ao usar o gzip (o que é uma boa ideia por vários motivos) considere usar o programa pigz
e não o gzip
.