Com esse sudo , você está trocando de usuário para raiz. Eu suspeito que isso não tenha sido planejado, pois o ssh irá procurar por chaves em /root/.ssh/ e, não encontrando nenhuma chave lá, apenas pedirá a senha do usuário remoto.
Eu geralmente corro exec ssh-agent bash ou algo similar - permanecendo com meu próprio usuário.
E então eu corro ssh-add , para carregar (a maioria) minhas chaves no agente, antes de executar o ssh - novamente normalmente sem sudo .
Se eu estiver errado, e o sudo for intencional, você pode nos dizer o que está tentando conseguir com isso?