Então, depois de examinar as páginas de manual procurando como alterar a porta remota para se conectar a uma máquina virtual ... Eu encontrei a resposta.
Tudo o que precisei fazer foi adicionar -o allow_other
e bam, funcionou. Aparentemente, o sshfs assume que você lerá o diretório montado sob o mesmo usuário usado para montá-lo, sem considerar que normalmente apenas a ROOT é permitida para montar sistemas de arquivos .-.