Você está vendo um arquivo chamado ~ no diretório Downloads; esse símbolo também se refere ao seu diretório inicial , quando usado no início de uma sequência sem aspas ( aqui está o que o bash faz ).
Para remover o arquivo, você tem muitas opções; aqui estão dois dos mais simples:
rm ~/Downloads/~
cd ~/Downloads && rm ./~
Adicione o sinalizador -i
a qualquer um dos comandos rm
para que seja solicitado antes de remover o arquivo.