Digite
sudo apt-get install apache2 php5 libapache2-mod-php5
instalará tudo o que você precisa e iniciará o servidor apache com suporte para PHP.
Para verificar se o módulo php está carregado, digite:
a2query -m php5
se não estiver ativado, carregue com:
sudo a2enmod php5
e reinicie o apache:
sudo service apache2 restart