Por que estou recebendo o erro “File exists” no cygwin ao tentar removê-lo?

Question

Eu tenho alguns arquivos que não consigo remover:

> rm foo
> rm: cannot remove 'foo': File exists

basicamente eu também recebo o mesmo erro se eu tentar mv do arquivo, chmod ou mesmo se eu tentar cat dele.

Para mim, esse erro me confunde. Acho que pode haver muitas razões válidas para você não poder fazer isso com arquivos, mas o arquivo existente não deve ser motivo para falhar em removê-lo ou fazer outras coisas.

O que está realmente acontecendo aqui? Existe algum outro erro do Windows que mapeie para EEXISTS de uma maneira confusa ou o quê?