Não deve ser um link físico, porque, até onde eu sei, as pastas não podem ser vinculadas, exceto pelo root, e mesmo assim pode ser impossível devido a restrições do sistema. Só para ter certeza, tente isso (não confunda \ com /):
unlink \~
(você tem que escapar do ~, ou o shell irá interpretá-lo como "unlink $ HOME").
Observe que o unlink o removerá, mesmo que seja um arquivo normal (mas não se for um diretório)
Se for um diretório, faça o seguinte:
rm -Ri \~
Mais uma vez, escape do til. Você quer fazer rm -Ri, então ele te avisa antes de cada remoção, no caso de você se esquecer de escapar do til e acidentalmente remover seu homedirectory.