A resposta genérica para "como determinar" é ler a página de manual para tar emitindo o comando man tar no seu sistema. (A página vinculada é uma página de manual para tar , mas, emitindo o comando em seu sistema, você garantirá a página de manual da versão que está usando no momento.)
Na página de manual, você verá que a opção z faz com que o (s) arquivo (s) seja (em) filtrado (s) por gzip , que por convenção tem a extensão .tar.gz ou .tgz , enquanto j opção faz com que o arquivo seja filtrado através do bzip2.
Versões de GNU tar desde 1.15 (2004-12-21) autodetectam métodos comuns de compactação, então nenhum o j nem o z serão necessários nas distribuições de linux da última década, aproximadamente. tar xf ... descompactará um arquivo, seja um arquivo descompactado, um arquivo compactado gzip , um arquivo compactado bzip2 ou vários outros formatos. Outros sistemas unix ou unix-like (ou distribuições linux que não usam ferramentas GNU?) Podem não ter este atalho disponível.
Quanto à questão secundária, a opção t solicita apenas a listagem dos arquivos no archive, enquanto a opção x extrai os arquivos.