Sua pergunta se resume à ordem de precedência em que as seções dentro da configuração são mescladas. Location
acontece por último e as diretivas do Apache Location
são correspondidas no pedido para que você precise de algo para remover o uwsgi para algumas partes como:
<VirtualHost *:80>
ServerName example.com
DocumentRoot /var/wwww/site/static
<Location />
SetHandler uwsgi-handler
uWSGISocket /run/uwsgi/app/site/socket
</Location>
<Location /file.name>
SetHandler none
</Location>
</VirtualHost>