O que você está experimentando é o salvamento automático de sessão do XFCE. Ele tentará restaurar a sessão que você tinha antes de sair.
Você pode explorar as sessões em cache com um rápido rm -rf ~/.cache/sessions/*
, mas para a desativação a longo prazo, há outra resposta no site que envolve a desativação forçada .
As chances são de que você saiba o que esperar (se você deixar as janelas abertas antes de sair), você não ficará tão surpreso e confuso.