Acabou sendo um bug conhecido, com os seguintes contornar :
"Para instalar:
sudo add-apt-repository ppa:attente/modifier-only-input-switch
sudo apt-get update
sudo apt-get upgrade
Se os novos pacotes melhorarem a situação para você, você pode usar o apt-mark para manter esses pacotes nessas versões.
Se os novos pacotes causarem uma regressão para você, use 'sudo ppa-purge ppa: attente / modificador-somente-entrada-switch' para restaurar as versões atualmente arquivadas. "