Use as mesmas chaves privadas nos dois servidores de dados.
Do primário ...
scp /etc/ssh/*key* dataserver_ha2:/etc/ssh/
Depois disso, reinicie o daemon ssh no dataserver_ha2 com service sshd restart
.
Isso cuidará dos seus problemas de identidade do host da maneira mais rápida e mais limpa.