Como os arquivos-chave são nomeados?
Se o nome da chave que você instalou for id_rsa / id_rsa.pub etc, então ssh sempre tentará usá-lo para uma conexão se o servidor tiver PubkeyAuthentication yes em /etc/ssh/sshd_config
Se você renomear os arquivos de seus nomes padrão quando estiver se conectando a esse servidor, você terá que usar ssh -i /path/to/key , caso contrário, toda vez que você usar ssh ele tentará usar essas chaves se eles estiverem usando algum os nomes das chaves padrão.
De man ssh
-i identity_file
Selects a file from which the identity (private key) for public
key authentication is read. The default is ~/.ssh/identity for
protocol version 1, and ~/.ssh/id_dsa, ~/.ssh/id_ecdsa,
~/.ssh/id_ed25519 and ~/.ssh/id_rsa for protocol version 2.
Identity files may also be specified on a per-host basis in the
configuration file. It is possible to have multiple -i options
(and multiple identities specified in configuration files). If
no certificates have been explicitly specified by the
CertificateFile directive, ssh will also try to load certificate
information from the filename obtained by appending -cert.pub to
identity filenames.