O segundo argumento é o "destino", que pode ser um servidor e um caminho, ou apenas um caminho.
scp file user@server:newfile
irá copiar "arquivo" para o servidor como "newfile"
scp user@server:file newfile
copiará "arquivo" do servidor como "newfile" < - Isso é o que você está procurando.
scp user@server1:file user@server2:newfile
copiará "arquivo" do servidor1 para o servidor2 como "novo arquivo"