Por curiosidade, tente alterar sua linha:
AddHandler fcgid-script .php
para
AddHandler fcgid-script php
Para se levantar e correr, você também pode querer considerar o uso de mod_fastcgi (note, não mod_fcgid do Apache). Uma dll está disponível aqui link Observe que isso é para o HTTP 2.2. (Uma dll para 2.4 também está disponível.)
Sua entrada de configuração seria algo como:
LoadModule fcgid_module modules/mod_fcgid.so
<IfModule mod_fastcgi.c>
Alias /fcgi-bin "C:/www/cgi-bin"
FastCgiServer "C:/www/cgi-bin/php-cgi.exe" -initial-env PATH=C:/php -initial-env PHPRC=C:/php
AddHandler php-fastcgi .php
<Location /fcgi-bin/>
Options ExecCGI
SetHandler php-fastcgi
</Location>
AddType application/x-httpd-fastphp .php
Action php-fastcgi /fcgi-bin/php-cgi.exe
</IfModule>
Você provavelmente pode usar menos, mas funciona para mim no Windows.