O problema foi com o arquivo .htaccess no diretório bugzilla.
Adicionado o seguinte código ao arquivo e reiniciado o apache,
<FilesMatch (\.pm|\.pl|\.tmpl|localconfig.*)$>
Deny from all
</FilesMatch>
Agora está funcionando bem.
Instalei o bugzilla e adicionei o seguinte código a httpd.conf para acessá-lo no meu navegador
<Directory /var/www/html/bugzilla>
AddHandler cgi-script .cgi
Options +Indexes +ExecCGI
DirectoryIndex index.cgi
AllowOverride Limit
</Directory>
Mas se eu tentar acessá-lo pelo navegador, estou recebendo o seguinte erro
The server encountered an internal error or misconfiguration and was unable to complete your request.
Tags bugzilla apache-httpd