Tudo depende de como você deseja acessar os arquivos arquivados.
Se você for restaurar arquivos todos de uma só vez, o sistema de compactação tar + a (gzip, bzip2, xz, whatever) ficará bem e provavelmente lhe dará a melhor compressão.
Se você quiser extrair um subconjunto dos arquivos a qualquer momento, fique longe do tar. Tar não possui um índice central do conteúdo e, portanto, terá que ler o arquivo inteiro para extrair os poucos arquivos desejados. Nessa situação, algo como ZIP ou RAR seria muito mais sensato.