Você diz que está fazendo isso:
location ~ ^/static/ { internal; }
A palavra-chave internal significa que esse location é visível somente para solicitações internas, o que corresponde às suas solicitações error_page .
Se você quiser acessar /static/ diretamente do navegador da web, o que parece necessário para veicular imagens referenciadas nas páginas de erro, será necessário remover a diretiva internal do disse location .