Se você olhar a origem do documento renderizado, provavelmente verá que é toda a fonte do arquivo PHP. Está interpretando as tags <?php
como algo que pode ser HTML.
Instalar o PHP5 não é suficiente. Seu servidor precisa saber o que fazer com os arquivos PHP. Isso depende da distribuição e do seu servidor da web. Como sabemos que nenhum dos dois e que este é um caso de uso muito comum para servidores Linux, basta olhar na documentação da sua distribuição. Aqui está um exemplo da documentação do Ubuntu que cobre uma ampla gama de implementações.
Se você estiver usando o NGINX ou outro httpd, precisará de instruções diferentes, mas o processo é semelhante.