Para usar o SSH para transferir do remoto para o local da mesma forma que faria o inverso, você precisará configurar um servidor ssh em seu computador doméstico (com encaminhamento de porta relevante etc) e iniciar um segundo ssh conexão ao seu PC local de dentro da conexão ssh ao seu controle remoto.
digamos que o ip público do seu computador é home.ip.address como acima e seu IP do servidor remoto é remote.host.location como acima.
A partir do seu PC doméstico, inicie uma conexão ssh para remote.host.location como faria normalmente. então, a partir do shell remoto, use scp com [email protected] como o endereço sugerido acima.
A chave é configurar o seu PC local para aceitar conexões ssh.