Eu acho que o problema é o sshfs (ou usar um protocolo de terminal remoto como o SSH como um protocolo de acesso a arquivos) onde cada acesso a arquivos precisa ser simulado usando comandos shell que são extremamente ineficientes.
Você deve ser capaz de obter um desempenho muito melhor com protocolos de arquivamento adequados, como NFS ou CIFS. Lembre-se de usar uma VPN como o kobaltz sugerido, porque esses protocolos de arquivamento não são muito seguros.