É porque você está usando sudo , que está usando chaves RSA diferentes ( root chaves privadas), em vez das chaves particulares do usuário.
Portanto, não use sudo ou adicione chaves RSA da conta root no controle remoto.
Para verificar isso, adicione o parâmetro -vvv ao comando ssh para ver a saída detalhada.
Você também pode usar ssh-agent e ssh-add para adicionar suas chaves de usuário, para que você possa ser identificado corretamente.