Como você pode ssh para o servidor somente com sua chave, você também pode scp com a chave - apenas certifique-se de apontá-la com scp -i /path/to/private_key <source> <target> .
Você também pode usar um programa ssh-agent - você não precisará usar a opção -i keyfile toda vez (isso também se aplica ao ssh). Comece com:
ssh-agent bash
ssh-add -L #this lists the keys you have added (the public key)
ssh-add /path/to/private_key #this will add a key