A maneira mais fácil de fazer isso é acessar primeiro o diretório:
cd /path/to/containing/folder && tar -zcvf tarfile.tar.gz foldername_tocompress
Para que o diretório da pasta (que contém) se torne o diretório raiz do arquivo compactado.
Um pouco mais avançado está usando a opção -C:
tar -zcvf tarfile.tar.gz -C /path/to/foldername_tocompress .
Isso cria um arquivo tar.gz
no diretório atual (em funcionamento), contendo todos os arquivos / pastas dentro de foldername_tocompress
(lembre-se do ponto, dizendo que todos os arquivos / pastas devem ser incluídos).