Acredito que você precisa trocar os valores na sua diretiva Order da seguinte maneira:
<FilesMatch "\.cgi$">
Order Deny,Allow
Allow from all
</FilesMatch>
<FilesMatch "."> # All other files
Order Deny,Allow
Deny from all
</FilesMatch>
Por padrão, isso negará todo o acesso de todos os arquivos. Qualquer arquivo terminado em .cgi será permitido. Consulte a documentação na diretiva Order para obter mais informações.