Quando você executa um scp em um cliente local entre dois sistemas remotos, assim:
scp remote1:file remote2:
Você está se autenticando em remote1 do seu local, como esperado, mas é remote1 que autentica para remote2 diretamente. A transferência de arquivos NÃO é enviada através do seu cliente local como você poderia esperar.
Para informar scp no cliente para autenticação em hosts remotos e para gerenciar a própria transferência de arquivos, é necessário um sinalizador adicional:
scp -3 remote1:file remote2:
Na sua situação, espero que o primeiro Pi não tenha um login baseado em certificado que funcione sem o envolvimento manual configurado para o segundo, então a autenticação falha. (Lembre-se de que suas chaves parecem exigir uma frase secreta para serem desbloqueadas, e isso não está disponível no primeiro Pi quando ele tenta se comunicar com o segundo).
OK, para que eu possa repetir seu problema quando não tiver uma configuração de autenticação baseada em certificado. Parece que para transferir entre dois sistemas remotos, você deve ter autenticação baseada em certificado (ou seja, não é necessária senha).