Encontrou a resposta aqui . Antes de você iniciar o nautilus, execute o comando dbus-launch no terminal em sua sessão vnc:
$ dbus-launch bash
$ nautilus &
O Nautilus agora se comporta normalmente quando você digita um endereço "ssh: //" ou "smb: //" na barra de localização.