O problema com o Ubuntu 14.04 provavelmente não é relacionado ao driver, é mais provável que as demandas em sua placa gráfica sejam grandes demais. À medida que você retorna a versões antigas sem suporte, haverá menos e menos suporte a hardware, o que pode explicar os problemas do mouse.
Eu recomendaria a instalação do Lubuntu ou do Xubuntu Ambas as quais são ambientes de desktop leves. O Lubuntu está um pouco menos faminto de recursos do que o Xubuntu, portanto é uma opção melhor para PCs mais antigos, mas ele tem sentir para isso. O Xubuntu definitivamente parece mais agitado. Seja qual você escolher, eu recomendo baixar o LibreOffice para processamento de texto, etc.
Como uma nota secundária, geralmente não é uma boa idéia usar uma versão antiga sem suporte, correções de segurança não são mantidas, e você não pode fazer perguntas sobre elas no Ask Ubuntu também! Usando uma versão LTS é a melhor maneira de garantir a estabilidade em seu sistema, 12.04 e 14.04 são as versões atuais do LTS, e 16.04 é apenas ao virar da esquina (está no teste beta final no momento). Pessoalmente eu normalmente espero pelo primeiro ponto (16.04.1) de lançamento de uma nova versão para dar tempo para que os bugs sejam resolvidos.