Você quer dizer a variável de ambiente ou o próprio diretório?
Para remover o diretório em si (e todos os arquivos contidos nele):
rm -r $HOME/tmp
Para remover a variável de ambiente, faça:
unset TMPDIR
Eu usei o comando:
export TMPDIR=$HOME/tmp
Agora ele criou a pasta / tmp no meu diretório raiz (root / tmp)
Como posso eliminá-lo?
rm -r $HOME/tmp
irá deletar o conteúdo do diretório e depois deletará o diretório.