Agora eu tenho explicação.
O servidor de 1 site escuta ip:port enquanto o site de defaut escuta apenas port . Quando o nginx escolhe qual bloco de servidor usar, ele prefere a correspondência mais aproximada, e ip:port é melhor do que port . E somente depois que o nginx de peneiramento irá comparar nomes de servidores, mas neste caso é tarde demais. Ele já é apenas um candidato.
Após o alinhamento do seu escopo, eles são todos "equidistantes" do pedido.