Isso pode não responder completamente à sua pergunta, mas pode oferecer uma solução rápida. Eu também tenho esse problema, usando o Xubuntu 14.10 então algo quebrou recentemente ...
Eu acho que o mouse ainda é responsivo (em parte), então você é capaz de RMB na área de trabalho e abrir um terminal.
xfwm4 --replace
Deve fazer o truque.