como você criou uma chave pública para duas chaves privadas diferentes? afaik isso é impossível com o ssh-keygen. se você não o fez (o que eu suspeito), seu problema é simplesmente que você não entendeu o princípio chave assimétrico:
Ao gerar o par de chaves, o ssh-keygen gera uma chave privada e uma chave pública, que correspondem uma à outra. você faz upload da chave pública para o servidor e, ao se conectar, o ssh criptografa algumas informações usando sua chave privada. então o servidor tenta descriptografá-lo com a chave pública que você deu a ele, e se isso funciona, ele sabe que você tem a chave privada correta correspondente à chave pública que ele conhece e então verifica se você é A) você ou B) alguém que roubou sua chave privada. no caso A, está tudo bem, no caso B, é simplesmente sua culpa e você deve proteger melhor sua chave privada: D
EDITAR:
se você quiser usar duas chaves privadas diferentes, basta fazer o upload de ambas as chaves públicas correspondentes para o servidor.