Você terá que usar os arquivos so da versão mais antiga nos confs do apache e reiniciar o apache para que ele tenha efeito. No Ubuntu 14.04, consulte /etc/apache2/mods-available/php5.load :
LoadModule php5_module /usr/lib/apache2/modules/libphp5.so
Atualize a linha acima no arquivo para apontar para o equivalente so para o php 5.1.