Isso depende do tipo de arquivo compactado.
Se é um arquivo de arquivos que é subsequentemente comprimido (como um arquivo tar gzipado) então você terá que descomprimir, adicionar o (s) arquivo (s) e recomprimir.
Se for um formato de arquivo compactado (como ZIP ou RAR), eles geralmente terão uma opção para adicionar arquivos ao arquivo sem descompactar o arquivo inteiro primeiro.