Verifique se o seu SCRIPT_FILENAME está correto. Descobri que preciso especificar o local absoluto completo para que funcione:
fastcgi_param SCRIPT_FILENAME /usr/share/gitweb/gitweb.cgi;
Se você continuar a ter erros, talvez seja necessário especificar o caminho completo para o arquivo de configuração do Gitweb também:
fastcgi_param GITWEB_CONFIG /etc/conf.d/gitweb.conf;