Se a sua "unidade local" for um cliente linux, você pode usar apenas um comando tar remoto para imprimir a saída para stdout (o padrão, uma especificação de opção explícita seria "-f -") e canalizá-la para um local tar que lê de stdin (opção explícita "-f -" novamente) assim:
ssh your.dedicated.server 'tar -czf - /my/files/to/back/up' | tar -xzf -
Ao usar a opção "-z", o Tar compactará seus dados com o nível de compactação padrão do gzip (6). Se você quiser uma taxa de compactação melhor e ter ciclos de CPU de sobra, poderá usar "-j", mas se for uma máquina antiga / virtual com um link rápido, poderá acabar com uma taxa de transferência menor.
Ah, e como edição: você pode especificar a opção -C (compress) com o SCP, isso também usará o gzip como um algoritmo de compressão, embora as taxas de compactação usualmente sejam um pouco menores do que com uma combinação tar / gzip . É menos para digitar e você obterá bons indicadores de progresso como um bônus.