Você tem uma compreensão bastante fundamental de como funciona o scp.
Assumindo que "local" é onde você deseja que o arquivo seja finalizado, e "remoto" é onde o arquivo está agora, faça o seguinte:
scp user@remote:/path/to/file.name ~
~ pode ser substituído por onde você quiser que o arquivo vá em local.
NÃO envie ssh para o remoto primeiro. Quando você ssh para remoto, em seguida, executar esse comando você está efetivamente copiar o arquivo de remoto para remoto, o que não é o que você quer.
Faça o que você está fazendo, mas pule a etapa 1. Execute o scp do bash / terminal em sua máquina local, não faça ssh para o remoto primeiro.
(excluindo minha outra resposta, pois ela não é mais relevante)