Isso geralmente significa que o PHP não está sendo interpretado porque o servidor não sabe como lidar com isso. mod-php
está instalado? Tente o seguinte:
$ sudo apt-get install libapache2-mod-php5
$ sudo a2enmod php5
Você tentou configurar o FCGI, talvez? Nesse caso, provavelmente há um erro na sua configuração.