Não vejo uma maneira de fazer isso na página de manual, mas você sempre pode filtrar os resultados. O seguinte não assume novas linhas em seus nomes de arquivos:
tar tzf your_archive | awk -F/ '{ if($NF != "") print $NF }'
Como funciona
Definindo o separador de campo como / , o último campo awk conhecido ( $NF ) é o nome do arquivo se estiver processando um nome de arquivo ou vazio se estiver processando um nome de diretório ( tar adiciona uma barra à direita dos nomes dos diretórios). Então, basicamente, estamos dizendo awk para imprimir o último campo, se não estiver vazio.