Você acertou! (Se eu acertei o que você fez.)
Quando você trabalha com um gerenciador de arquivos local, ele executa todas as operações localmente. Mesmo se você copiar arquivos entre dois locais em um mesmo servidor, ele executará operações lendo dados no buffer local e gravando-os novamente. Assim, todos os dados passam pela rede duas vezes.
Quando você faz login na máquina remota, todas as operações são realizadas na máquina remota, exceto pelo fato de enviar uma cópia da saída do console.
Em teoria, o comportamento do gerenciador de arquivos pode ser corrigido por plugins inteligentes (ou funcionalidades internas inteligentes) que interceptem a cópia do servidor para o servidor e a executem efetuando login no servidor e executando a operação localmente. Eu não vi esses plugins, mas pode ser só porque eu não me importo. Os gerenciadores de arquivos especializados que lidam com servidores FTP suportam um recurso semelhante incorporado ao protocolo de arquivos FTP - um servidor pode copiar dados para outro diretamente, sem movê-los pelo computador cliente.