Como você está vendo o código fonte do PHP, isso indica que o php é provavelmente o culpado, mas também pode ser a configuração do apache.
Primeiro verifique se o PHP está instalado which php
, se isso retornar, vamos supor que o pacote está instalado.
Em seguida, tente instalar, sudo apt install libapache2-mod-php7.0
. Após a instalação, deve ativar automaticamente o módulo no Apache e reiniciar. Se não, sudo a2enmod php7.0
e teste sua página novamente.