Esse erro está acontecendo porque o !
(bang) é um atalho que permite que você execute novamente um comando a partir do seu histórico. Ex: Este comando executa novamente o comando # 1504 da minha história.
$ !1504
Para evitar esse problema, tente encapsular o nome do seu diretório com aspas simples.
$ cd '!)e$!gn&(reate'
Dito isso, embora o Ubuntu (Linux) permita que você nomeie diretórios dessa forma, eu recomendaria strongmente contra ele. Usar caracteres especiais em nomes de diretório pode torná-los difíceis de ler e, se você estiver usando um caractere reservado, sempre precisará escapar ou encapsular o nome do diretório entre aspas.