Use aspas simples. Não aspas duplas. Use também -r para remover diretórios:
rm -r '+%d-%m-%y'
Não Pode haver algum espaço em branco (inicial ou posterior). Você pode revelar isso usando:
ls -l | grep "+" | cat -vet
Certifique-se de capturar todo o espaço em branco entre aspas.
Como foi criado? hypess usou aspas simples, presumíveis depois de um comando date malformado.
Quando foi criado? Em torno de 2 Dec 20 04:21 , suspeito.