Cite o nome do diretório:
$ cd '#foo'
Ou escape usando uma barra invertida:
$ cd \#foo
$ cd bar# #works
O segundo funciona, pois um comentário no final da linha deve ter espaço em branco antes de #
.
Ou dê o caminho completo:
$ cd ./#foo