Arrastar e soltar como este não é trivial para implementar através da rede, e rodar um gerenciador de arquivos sobre o encaminhamento do X como este não funcionará (trivialmente) para o propósito.
Você deve usar SSHFS para montar seu servidor remoto em seu sistema de arquivos local por SSH, e o uso de um < em> local gerenciador de arquivos para navegar nessa montagem. Dessa forma, arrastar e soltar funcionará no SSH, e o gerenciador de arquivos será muito mais rápido.
Outra alternativa é usar um cliente gráfico SFTP como Filezilla , que permitirá que você faça o login via SSH e obtenha uma visão em árvore dos seus arquivos remotos, com suporte para arrastar e soltar.