Você pode ter algo gravado em sua sessão.
Efetue logout do XFCE (ou seja: faça logon com outro WM ou a partir do console) e, em seguida, remova os arquivos denominados xfce4-session* e xfwm4* de ~/.cache/sessions/ . Em seguida, tente efetuar logon com o XFCE novamente.