Cite o nome do diretório:
$ cd '#foo'
Ou escape usando uma barra invertida:
$ cd \#foo
$ cd bar# #works
O segundo funciona, pois um comentário no final da linha deve ter espaço em branco antes de # .
Ou dê o caminho completo:
$ cd ./#foo