Isso não tem nada a ver com o PuTTY; ele não tem sua própria linha de comando - ele é um cliente SSH, funcionando muito como o Telnet ou o Remote Desktop, mas todo o texto ainda é mostrado pelo seu shell usual.
Se a configuração dada para o bash não funcionar, uma resposta possível é você não está usando o bash . Dê uma olhada em echo $SHELL , printenv SHELL ou ps $$ para descobrir o que o interpretador de comandos está realmente sendo usado. (Quase todos eles têm arquivos de configuração diferentes.)
Se você estiver usando o bash, a outra resposta é que você colocou sua configuração no lugar errado. Primeiro teste diretamente dentro da linha de comando, executando PS1=">" ou algo assim. Em seguida, reconecte e tente carregar manualmente os arquivos de configuração usando source ~/.bashrc e outros. Preste atenção a qualquer mensagem de erro que possa aparecer.