Testado com apenas uma pasta regular usando mv
com um caractere de escape.
Não gostou muito, mas foi o que aconteceu.
$ ls
Fish&Chips
mv Fish\&Chips FishChips
[1]+ Exit 64 mv Fish
$ ls
FishChips
Pode precisar de sudo
no volume de inicialização - não estou renomeando minha unidade de inicialização apenas para teste;)