Você simplesmente precisa escapar do # com um \
Por exemplo, criei uma pasta chamada #test na minha pasta pessoal
warren@VBox:~$ ls
a.out bad.c.save Desktop Music share #test
bad bad.s Documents Pictures src Videos
bad.c crap Downloads Public Templates
Como esperado, cd #test não funciona porque tudo após o # é um comentário
warren@VBox:~$ cd #test
warren@VBox:~$ ls
a.out bad.c.save Desktop Music share #test
bad bad.s Documents Pictures src Videos
bad.c crap Downloads Public Templates
Mas cd \#test faz
warren@VBox:~$ cd \#test
warren@VBox:~/#test$ ls
hjjhk.txt #test1
warren@VBox:~/#test$