Esta resposta é baseada no comportamento que vi no Arch Linux. Espero que não seja muito diferente do Debian. (Além disso, porque foi determinado empiricamente, não tenho certeza se será realmente bom).
Parece que você precisa garantir que o gvfsd e o gvfs-fuse-daemon estejam rodando. Infelizmente, no meu caso, iniciá-los manualmente não teve o efeito desejado. Eles começaram, mas os problemas persistiram.
Como o gvfs exporta serviços dbus, parece que o gvfsd deve ser iniciado pelo dbus. Você está usando um gerenciador de exibição para fazer login ou está chamando o startx diretamente?
Se você estiver chamando startx (ou usando um gerenciador de exibição como SLiM), tente invocar seu ambiente de gerenciador de janelas / área de trabalho com
exec dbus-launch --exit-with-session --sh-syntax startxfce4
no seu $HOME/.xinitrc .
Se você estiver usando um gerenciador de exibição, verifique em sua documentação o que fazer para personalizar como o gerenciador de janelas é chamado.