Você deveria ter usado:
WSGIScriptAlias / /srv/domain/trac.wsgi
<Directory /srv/domain/>
WSGIApplicationGroup %{GLOBAL}
Order deny,allow
Deny from all
</Directory>
Isso pode parar outras coisas bem abaixo desse diretório, então use:
WSGIScriptAlias / /srv/domain/trac.wsgi
<Directory /srv/domain/tracprojects>
WSGIApplicationGroup %{GLOBAL}
Order deny,allow
<Files trac.wsgi>
Deny from all
</Files>
</Directory>
BTW, você não precisa do WSGIScriptReloading.
Certifique-se também de ler:
O uso do modo daemon seria preferido.
Instruções gerais de configuração do Trac em: