Então eu descobri qual era o problema. O problema vem de como o nginx carrega as configurações do vhosts. Se você olhar para o nginx.conf, você encontrará esta linha
include /etc/nginx/sites-enabled/*;
Isso carrega todos os "vhosts" no nginx.conf principal em uma ordem aleatória. Então o que aconteceu é que o erro estava em outro lugar, em outro vhost .. e estava fazendo todos os vhosts falharem basicamente (nenhum erro foi detectado pelo nginx, não foi um erro em si, mas uma configuração ruim).
Então eu removi todos os vhosts habilitados para sites, e os coloquei de volta um por um, recarregando o nginx e testando o site toda vez até que eu conseguisse acertar tudo e depois voilà