Você não precisa do "'" em torno do seu curinga. Apenas use rm -rf *.upload . E se forem apenas arquivos, você não precisará da opção -r .
EDITAR:
Na verdade, como você tem um "-" no início do nome do seu arquivo, a linha de comando tenta interpretá-lo como uma opção para o comando, atrapalhando as coisas. O que você precisa fazer é selecionar o arquivo usando ./ da seguinte forma: rm ./*.upload . Eu não posso explicar mais por que isso acontece, mas isso deve funcionar.