Tanto quanto sei, o servidor de fontes x11 agora está praticamente obsoleto em favor das fontes do lado do cliente. O Ubuntu certamente não usa mais o xfs (a menos que você o instale especificamente) e duvido que o Debian Unstable o instale por padrão.
Após a inicialização, em vez de reiniciar o xfs, tente interrompê-lo. Se tudo continuar funcionando como esperado, basta desinstalá-lo.