Se você quiser apenas encontrar o host do qual você se conectou, use w
:
$ who -m --ips
terdon pts/4 2015-06-08 20:02 123.456.78.9
Para obter apenas o IP:
$ who -m --ips | awk '{print $NF}'
123.456.78.9
Então, para scp desse host, você poderia fazer:
scp user@$(who -m --ips | awk '{print $NF}'):/remote/path /target/path