Tanto rm \* como rm '*' estariam bem, rm "*" também.
Em caso de dúvida, você deve usar a opção -i para rm para avisar antes de remover um arquivo. Por exemplo, este comando removerá todos os arquivos cujo nome tem apenas um caractere, mas somente se você o aceitar:
rm -i ?