O problema é que a versão oficial do nginx é construída com o uso da configuração "any cpu" (suporte a 32 + 64 bits), mas no nano server você só pode usar binários nativos de 64 bits.
Você pode encontrar a versão nativa de 64 bits do nginx aqui: link e também fiz o upload do Dockerfile que instala o nano server aqui: link