Talvez seu mouse esteja quebrado? Você pode executar xev em um terminal e clique no meio da pequena janela que é aberta. Você deve ver um ButtonPress event e ButtonRelease event (apenas leia as primeiras palavras de cada parágrafo, o resto não importa aqui).