O SSH não foi projetado para ser um protocolo de transferência de arquivos. O SSHFS trabalha observando periodicamente a lista de diretórios e os resultados de armazenamento em cache.
Você pode controlar o comportamento do armazenamento em cache, mas ao custo do desempenho em relação à interatividade. Se o host SSH que você está conectando for acessado por meio de um link de alta latência ou de uma conexão lenta, a desativação do cache tornará as coisas que procuram o sistema de arquivos dolorosas.
De qualquer forma, veja a página de manual e experimente um pouco.
-o cache=YESNO
enable caching {yes,no} (default: yes)
-o cache_timeout=N
sets timeout for caches in seconds (default: 20)
-o cache_X_timeout=N
sets timeout for {stat,dir,link} cache