Qualquer informação de hardware é necessária; poderia ser que sua memória RAM é muito baixa e o Ubuntu tem dificuldade de resolver. Isso acontece quando você abre aplicativos na barra lateral. Tenha em mente que o Unity realmente precisa, para um bom fluxo de trabalho, de cerca de 1,5 Gb de memória RAM (meus próprios padrões). Parece-me que esse é o problema com sua máquina.
É claro que tentar um mouse diferente pode te ensinar se o mouse está ruim (ou o conector está ruim).
De qualquer forma, informe-nos do que seu computador é feito (RAM / CPU / placa gráfica)