Como a mensagem de erro diz que o arquivo "não pode ser encontrado", verifique a localização do seu "php5apache2_2.dll" - talvez o instalador tenha feito algo estranho e o arquivo não esteja lá (mais). Além disso, sugiro que NÃO use o instalador. Existem arquivos zip para download em php.net . Baixe e descompacte-o em seu diretório "C: / Program Files / PHP /".
Editar: por favor, verifique também o log de eventos do Windows - o que ele diz?
Se isso não ajudar, tente baixar o PHP 5.3.4 VC6 do php-archive , que é compilado com o compilador legacy visual studio 6 - > "Se você está usando PHP com Apache 1 ou Apache2 do apache.org, você precisa usar as versões VC6 do PHP".
Espero que isso ajude!