Digitação:
sudo apt-get install apache2 php5 libapache2-mod-php5
instalará tudo o que você precisa e iniciará o servidor apache com suporte para PHP.
Para verificar se o módulo php está carregado, digite:
a2query -m php5
se não estiver ativado, carregue com:
sudo a2enmod php5
e reinicie o apache:
sudo service apache2 restart
Atualização para php7.0, testada no Ubuntu 16.04 e 16.10
Graças aos comentários, atualizo a resposta do php7.
Instalar:
sudo apt-get install apache2 php7.0 libapache2-mod-php7.0
Verifique:
a2query -m php7.0
Carregar:
sudo a2enmod php7.0
Reinicie o apache:
sudo service apache2 restart