Este é um problema conhecido no Xfce 4.10 . Ele foi (provavelmente) corrigido no próximo 4.12 , ou seja, no release de desenvolvimento xfdesktop 4.11.2 .
Você pode testar a correção adicionando o Xfce 4.12 packages PPA e atualizando seus pacotes ( note que isso é inédito , software de desenvolvimento). Em qualquer caso, esta versão parece resolver o problema no meu sistema.