Uma maneira interessante de conseguir isso é ter duas chaves ssh, uma para servidores de produção e outra para não-produção.
Certifique-se de que a produção está criptografada com uma senha que é NÃO salva. Você pode criptografar o outro se quiser, mas se não o fizer, ficará mais claro que você está acessando um servidor de produção, já que primeiro você deve descriptografar sua chave antes que ela possa ser usada.
Outro 'truque' que você pode usar nas versões mais recentes do SSH é exigir duas formas de autenticação, de modo que uma chave E uma senha - ative isso apenas para servidores de produção.
Isso é feito no sshd.conf
AuthenticationMethods "publickey,password" "publickey,keyboard-interactive"
Eu ainda aceito a recomendação da Drako de alterar as cores do prompt - eu faço isso em servidores que administro para deixar claro para mim, em um relance quem estou logado e em qual servidor estou.