OK, encontrei uma solução que, como sempre, é simples em retrospectiva.
Para poder mover a pasta e até mesmo o arquivo, no começo eu esperava que não fosse possível movê-lo pelas bordas da unidade. Mas eu posso. Então eu mudei para uma unidade CompactFlash vazia e tentei reformatar isso. Recusou-se a formatar como FAT32, mas funcionou para FAT! Depois reformatado como FAT32 sem problemas.