A linha apropriada no fstab seria semelhante a
[email protected]:/RemoteDirectory /mnt/localdirectory fuse.sshfs nonempty,allow_other 0 2
Como você indicou, antes de usar isso, você precisa ter um relacionamento de chave pública / privada configurado entre os hosts sem uma senha. Você deve configurá-lo primeiro e verificar se o sshfs funciona bem na linha de comando.
(Observe também que a opção é allow_other não permite outro)