Como o @vidarlo sugere, a diretiva de tags curtas no arquivo de configuração do PHP está desabilitada. Se você quiser usar a sintaxe de tags curtas, terá que ativá-la. Altere seu arquivo php.ini de acordo:
short_open_tag=On
E reinicie o apache. Assumindo que você está usando algum tipo de sistema baseado no Debian e apache2, execute o seguinte comando (ou similar, dependendo do seu sistema):
sudo service apache2 restart
Nota: Se você não sabe onde está o seu arquivo de configuração do php.ini, apenas execute o seguinte no terminal:
php --ini