Você terá que usar os arquivos so
da versão mais antiga nos confs do apache e reiniciar o apache para que ele tenha efeito. No Ubuntu 14.04, consulte /etc/apache2/mods-available/php5.load
:
LoadModule php5_module /usr/lib/apache2/modules/libphp5.so
Atualize a linha acima no arquivo para apontar para o equivalente so
para o php 5.1.