Basta seguir a instrução HWE fornecida pela instalação do kernel HWE confiável e seu sistema ficará bem - atualizei vários servidores 12.04 já usando a instrução fornecida e ela funcionou perfeitamente.
Se algo der errado, você poderá reverter ao kernel anterior no menu de inicialização.