Você também precisa instalar o libapache2-mod-php (ou libapache2-mod-php7.0 se tiver o PHP7) e reiniciar o Apache se isso não acontecer durante a instalação do módulo.
Acabei de ter uma máquina Ubuntu (geralmente sou usuário Debian). Instalei o apache2 e o PHP usando os comandos abaixo e reiniciei o apache2, mas quando visito o site, o PHP não é executado (só vejo todo o código PHP impresso no site).
apt-get install apache2 php
Isso é tudo o que é necessário no Debian; Existem outras etapas necessárias no Ubuntu?
Você também precisa instalar o libapache2-mod-php (ou libapache2-mod-php7.0 se tiver o PHP7) e reiniciar o Apache se isso não acontecer durante a instalação do módulo.