De alguma forma, isso estava relacionado ao arquivo id_rsa.pub . Para o usuário root, isso não causou problemas, mas para o sudo através do root, aparentemente ele não funciona.
Talvez seja um caso particular com raiz que bloqueia isso ou talvez precise de outra permissão especial, além das recomendadas ou configuração de grupo.
A "solução" era apenas remover o arquivo de chave pública.