Como você disse, não é possível remover o diretório "\" do arquivo, já que \ é usado como o caractere de escape do shell.
Então, use o caractere \
para escapar do arquivo / diretório chamado "\":
$ rm -i \
Aqui está o meu teste:
# Make and verify the problem
$ touch \
$ ls -ld \
-rw-r--r-- 1 me me 0 Oct 11 16:59 \
# Remove the file:
$ rm -i \
remove \? y
$ ls -ld \
ls: \: No such file or directory