Quando você corre
ssh [email protected]
Você está fazendo isso sozinho (por exemplo, Brian)
Quando você corre
sudo scp -r [email protected] ...
você está realmente executando como root. Portanto, você está usando diferentes pares de chaves privadas / públicas.
Experimente o scp sem o sudo em algum diretório que você, Brian, não root, tenha acesso e veja o que acontece.
Espero que isso ajude.