O tar em si não tem esse recurso, você só pode filtrá-lo para ter dois arquivos tar independentes, um contendo os arquivos compactados, outro para os arquivos descomprimidos. Isso pode ser obtido usando a opção de exclusão tar mencionada ou criando listas de arquivos usando find .
Se você estiver aberto a alternativas, haverá dar (archive de disco) que pode decidir se deve ser compactado ou não para cada arquivo individualmente ( -Z, --exclude-compression <mask> option). Ele também pode restaurar arquivos individuais no archive sem descompactar o lote inteiro (até que o arquivo seja encontrado) como tar .
A maioria das pessoas simplesmente ignora esse problema e compacta todos os arquivos independentemente. Com um algoritmo de compressão rápida, não faz muita diferença. A compactação strong leva a ordem de grandeza mais tempo de CPU com redução de tamanho insignificante (ymmv, depende muito dos dados). Se é um arquivo que será baixado muitas vezes, a compressão strong pode valer a pena, caso contrário, pode não ser.