Isso pode ser feito, embora com um lote de trabalho - então não vale a pena.
Sua melhor aposta é instalar o 14.04 a partir do zero - ou seja. uma nova instalação.
No entanto, se você realmente quiser fazer um downgrade, dê uma olhada em esta resposta.