Certo, caso alguém veja isso mais tarde no Google, a resposta é:
sudo sshfs -o allow_other,default_permissions X:/ /mntX
Eu tentei o allow_other (que dá a cada usuário acesso de leitura e gravação para a raiz da outra máquina, idéia ruim) e default_permissions (que não faz nada) sozinho. Acontece que se você combiná-los, então, respeita as permissões. Certifique-se de que os nomes de usuários sejam os mesmos em todas as máquinas, ou você pode permitir que alguém grave no diretório pessoal de outra máquina uma conta que ele não possui.