Depende do software que você usa. Em geral, os pacotes em uma determinada versão do Ubuntu só recebem atualizações para corrigir erros graves, que afetam gravemente a funcionalidade de um programa ou o tornam inseguro. No entanto, os novos recursos normalmente não são incluídos como atualizações. Portanto, se um programa que você usa tiver uma nova versão que introduziu muitos novos recursos, incluindo melhorias de desempenho ou compatibilidade, você não os obterá (pelo menos não como parte do processo normal de atualização de pacotes).
Então, meu conselho, se você acha que o 14.04 é realmente um grande problema, é tentar o 12.04 e ver se funciona para você. Se isso acontecer, ótimo. Se alguns programas forem muito antigos e não tiverem recursos necessários, talvez seja necessário decidir entre atualizar esses programas por conta própria (da fonte ou de um PPA, por exemplo) ou reverter para o 14.04 e lidar com os problemas que você tem com ele.