Se o seu sistema é de 32 bits (computadores antigos):
Vá para este tópico e selecione a versão mais recente. Em seguida, baixe o arquivo que existe na seção Downloadable files
Se o seu sistema é de 64 bits (o mais comum até agora):
Acesse este tópico e selecione a versão mais recente. Em seguida, baixe o arquivo que existe na seção Downloadable files
Instalando o PHP a partir do terminal:
Digite o seguinte comando:
sudo apt-get install php5-fpm
Compile seu self:
Nesta página da web você encontrará o link de download com os pacotes.
Então você tem que compilar e instalar .
Mais informações sobre a instalação LAMP no Ubuntu 12.04