Você simplesmente precisa escapar do #
com um \
Por exemplo, criei uma pasta chamada #test
na minha pasta pessoal
warren@VBox:~$ ls
a.out bad.c.save Desktop Music share #test
bad bad.s Documents Pictures src Videos
bad.c crap Downloads Public Templates
Como esperado, cd #test
não funciona porque tudo após o #
é um comentário
warren@VBox:~$ cd #test
warren@VBox:~$ ls
a.out bad.c.save Desktop Music share #test
bad bad.s Documents Pictures src Videos
bad.c crap Downloads Public Templates
Mas cd \#test
faz
warren@VBox:~$ cd \#test
warren@VBox:~/#test$ ls
hjjhk.txt #test1
warren@VBox:~/#test$