Resposta curta: sim, mas pode haver uma maneira um pouco melhor.
Resposta mais longa: No Nginx, cada servidor ou site é normalmente definido em um arquivo externo, geralmente nos subdiretórios "sites habilitados" ou "habilitados para sites" do diretório de configuração nginx - chamei meus sites habilitados como ele faz mudando para mais rápido com conclusão de tabulação. O arquivo de configuração principal do Nginx geralmente inclui tudo neste diretório.
Você pode colocar todos os arquivos de configuração de todos os servidores nesse subdiretório e sincronizar o diretório ou fazer referência a um diretório em um local compartilhado. O nginx.conf para cada servidor poderia incluir apenas os arquivos requeridos por esse servidor naquele momento. Isso seria razoavelmente rápido para mudar.
No entanto, a automação é boa. Se você puder definir seus arquivos de configuração para que funcionem em todos os servidores dessa função, talvez seja possível evitar alterações manuais, e isso pode funcionar melhor por trás de um balanceador de carga. O nginx.conf pode ser diferente, mas o servidor configura o mesmo. Isso deve ser bem fácil.