Apenas cite o diretório. Eu uso o rmdir apenas para garantir que você não apague acidentalmente o seu diretório pessoal.
rmdir "~"
Para sua outra pergunta (melhor criar uma pergunta extra para ele), total significa o tamanho total do arquivo do diretório (soma dos tamanhos dos arquivos na saída).
Se você usar -h
, ele mostrará o tamanho em um formato legível por humanos.
ls -lh