O octothorpe ( #
), ou sinal de libra, é um caractere de comentário, descrito no POSIX gramática aqui como dizendo:
If the current character is a '#', it and all subsequent characters up to, but excluding, the next <newline> shall be discarded as a comment. The <newline> that ends the line is not considered part of the comment.
Então você precisa citar ou escapar do sinal de libra para que não seja interpretado como um comentário:
rm '#'*
ou
rm "#"*
ou
rm \#*