Entendo corretamente que você está usando o SSH para se conectar ao host remoto e, em seguida, está executando scp
no host remoto para copiar o arquivo de volta para o host local?
Sem saber nada sobre esses dois hosts, é perfeitamente possível que seu host local possa estabelecer conexões SSH com o controle remoto, mas o controle remoto não pode estabelecer conexões SSH com o local.
Se você puder fazer conexões SSH a partir do host local para o host remoto, poderá executar scp
no host local em vez do remoto:
scp remoteuser@remotehost:/path/to/backup.zip /Users/Steven/Desktop/test/