Você anexou a chave pública ao seu arquivo ~/.ssh/authorized_keys
(no servidor)?
A chave pública está em id_rsa.pub
A propósito, é mais seguro gerar seu par de chaves em sua máquina local e, em seguida, anexar a chave pública ao servidor ~/.ssh/authorized_keys
file.