Eu acho que você está fazendo errado.
Não deveria ser só isso?
<Directory /var/www/public_html>
AddHandler fcgid-script .php
Options +ExecCGI +Includes +Indexes
AllowOverride All
</Directory>
Se apenas isso funcionar, deve se tornar o fgci.conf nos módulos do apache
Alguns registros de erros também seriam bons.