A versão correta do php5apache2_4.dll deve estar na raiz da sua pasta PHP. Os últimos binários do PHP de 32 bits do Windows são a versão 5.4.15, no link . Você não deve precisar baixar php5apache2_4.dll de qualquer outro lugar, e eu certamente não aconselharia fazê-lo.
O http.conf deve conter:
LoadModule php5_module C:/php/ext/php5apache2_4.dll
Os últimos binários do Apache 2.4 Win32 do Apache Lounge estão em httpd-2.4.4-win32.zip.
Por fim, tente alterar sua linha: "Aplicativo AddHandler / x-httpd-php .php" para:
AddType application/x-httpd-php .php
A propósito, se você quer rodar o Apache 2.4 de 64 bits, você precisa use o PHP de 64 bits disponível apenas no Blog da Anindya .
Sem ver o resto da sua configuração, não consigo pensar em mais nada, além de um caminho errado em algum lugar, mas existem vários tutoriais úteis ao redor (veja, por exemplo: Configuração do Apache, PHP e MySQL no Windows .
Eu acabei de fazer uma instalação completa do servidor hoje à noite, e a instalação completa do Apache / PHP usando as fontes acima levou cerca de uma hora (incluindo erros!).