ssh está perguntando novamente; só porque você se conectou a um host não significa que você confia que o host seja algo real.há.muitoooo.
Você pode comparar as impressões digitais para verificar se elas realmente são o mesmo host:
diff -u <(ssh-keygen -F something.there.foo -l) <(ssh-keygen -F xx.xx.xx.xx -l)
Existem maneiras de colocar a impressão digital chave no DNS, mas sem a segurança DNSSEC não aumentará muito.
Depois de se conectar ao host, você pode confiar no ssh para avisá-lo se ele mudar.