Você precisa instalar o SAPI para seu servidor da Web, por exemplo, libapache2-mod-php
para Apache2 ou php-fpm
para NGINX. A versão CLI do PHP pode ser diferente da web SAPI.
Para o Ubuntu 12.04 LTS você também precisa adicionar ppa:ondrej/apache2
se você pretende usar o módulo PHP do Apache 2.x:
sudo add-apt-repository ppa:ondrej/apache2
sudo apt-get update
sudo apt-get install libapache2-mod-php
Se você tinha o apache2 2.2.x instalado anteriormente, você precisa removê-lo com:
apt-get purge 'apache2*'
Isso removerá todos os arquivos de configuração do apache2, então não esqueça de fazer backup da sua configuração (se você fez alguma alteração).