Corrigido pela limpeza do apache e do php. Apenas a remoção de php não foi suficiente. Não tenho certeza se essa é a melhor maneira de fazer isso, mas funcionou:
sudo service apache2 stop
sudo apt-get remove --purge apache2 apache2-utils apache2-bin php*
sudo apt-get autoremove
E é isso que eu usei para reinstalar tudo: link