Você precisa adicionar o conteúdo do id_rsa.pub ao arquivo authorized_keys2, dependendo da versão do OpenSSH instalada no servidor.
Se authorized_keys2 não existir, crie-o.
Além disso, verifique se você está copiando a chave pública corretamente. O que eu faria, transferir meu id_rsa.pub para o servidor via sftp, então no servidor (via ssh se possível) executar:
cat id_rsa.pub >> ~/.ssh/authorized_keys