A menos que eu esteja entendendo mal sua configuração, você não estará usando proxy_cache para acelerar as coisas, já que o nginx está na mesma caixa que os arquivos de mídia. Basta deixar o sistema operacional usar a RAM extra como cache do sistema de arquivos (monitorar e ajustar esse comportamento, se necessário) - isso acelerará as coisas muito mais do que o proxy_cache, já que tudo está na mesma caixa.
O proxy_cache do Nginx (ou Varnish, Squid ou qualquer outro cache HTTP) é útil apenas quando o conteúdo que você deseja armazenar em cache está em uma máquina diferente ou está sendo gerado dinamicamente.