O conteúdo de id_rsa.pub deve ser adicionado ao arquivo /root/.ssh/authorized_keys na máquina na qual você deseja efetuar login como root. Nessa máquina ("destino"), sshd também precisa ser configurado para permitir a autenticação de chave pública. Veja sshd_config (5).
Depois disso, você ssh como usuário root de alguma outra máquina para a máquina de destino (por nome ou endereço IP, não importa). Se você protegeu o arquivo de chave privada /root/.ssh/id_rsa com uma senha, então ssh pedirá a senha para que ela possa ler a chave privada.