A solução não é muito direta. O problema é que a comutação é feita ao pressionar o botão, mas deve ser feito na liberação. Este é um bug do Xorg e alguém diz que o Ubuntu não o possui.
Então, se você não quer mudar para o Ubuntu, você tem que usar outro software de comutação (loloswitcher provou não ter nenhum bug).