Verifique se o seu libphp.so (ou libphp5.so) está no lugar correto. Se ele foi instalado em um lugar diferente, você precisará atualizar onde o apache pensa que é. Dependendo de como você tem a configuração do apache, deve haver um bloco IfModule que carregue o módulo do apache. Será algo parecido com isto:
<IfModule !mod_php5.c>
LoadModule php5_module /usr/lib/php5.3/apache2/libphp5.so
</IfModule>
O caminho e o nome do módulo podem ser diferentes. Mas se tudo estiver bem, pode ser que você esteja usando uma "Ação" com o ExecCGI, por exemplo:
AddHandler php-cgi .php
Action php-cgi /var/www/localhost/cgi-bin/php.cgi
O caminho para o módulo cgi pode ter mudado.