Na verdade, a maneira correta é primeiro corrigir os pacotes quebrados, para que você possa removê-los corretamente antes de instalar o novo pacote.
sudo apt-get install -f
depois de instalar todas as dependências ausentes, execute:
sudo apt-get dist-upgrade
quando terminar, você terá duas opções, remover manualmente o pacote com o qual está tendo problemas ou fazer a atualização completa da versão, que é o método recomendado.
para que você possa ir:
sudo apt-get remove xserver-xorg-lts-saucy
sudo apt-get install xserver-xorg-lts-trusty
ou você pode fazer:
sudo do-release-upgrade
Na pior das hipóteses, se você já fez upgrade para o 14.04, mas o xserver ainda está preso na versão antiga por qualquer motivo, você pode fazer essa movimentação louca para remover todos os arquivos xserver, para que você possa reinstalar dos repositórios.
sudo apt-get remove o xserver *
fazer isso também removerá seu Unity ou Gnome, ou qualquer ambiente de desktop que você tenha instalado, então você terá que reinstalar sua escolha de ambiente de desktop, e isso automaticamente fará com que você perca os pacotes xserver em falta.
se você gosta da área de trabalho da unidade, faça o seguinte:
sudo apt-get install ubuntu-desktop
ou se preferir a área de trabalho do gnome, faça o seguinte:
sudo apt-get install ubuntu-gnome-deskop