Como apontado por alguns pôsteres - o problema é causado porque, por padrão, o php.ini não comentou todos os módulos de extensão.
Instalei o php-5.2.13 no Vista Home e experimentei o problema exato que Darth encontrou.
As únicas extensões de que precisava eram ...
extension = php_mysql.dll extensão = php_mysqli.dll
O resto, eu comentei colocando um ";" um começo de cada linha.
Isso fez com que o Apache começasse para mim.