Se você quiser copiar um diretório da máquina a para b enquanto estiver conectado a:
scp -r /path/to/directory user@ipaddress:/path/to/destination
Se você quiser copiar um diretório da máquina a para b enquanto estiver conectado em b:
scp -r user@ipaddress:/path/to/directory /path/to/destination
Eu não entendo muito bem o que você quer dizer com "não clicou para mim", usei esse método inúmeras vezes antes.