A menos que você defina explicitamente um servidor padrão, nginx usará o primeiro servidor com uma porta correspondente (para qualquer solicitação em que não haja correspondência server_name explícita). Consulte este documento para detalhes.
Você deve criar um bloco de captura de todos os servidores, por exemplo:
server {
listen 80 default_server;
...
}