você verificou se a autenticação direta funciona do primeiro host remoto para o segundo?
scp user@host:/file user@otherhost:/otherfile
é um atalho para
ssh user@host scp /file user@otherhost:/otherfile
que me faz pensar:
ssh -p XXX user@host scp -P XXX /file user@otherhost:/otherfile
pode funcionar.