Sim, é.
O que você provavelmente quer é múltiplas sub-rotinas "server", cada uma com uma porta diferente, mas possivelmente (provavelmente?) o mesmo server_name, servindo o conteúdo "diferente" apropriadamente dentro de cada um, talvez com uma raiz de documento diferente em cada servidor .
A documentação completa está aqui: link
Exemplo:
server {
listen 80;
server_name example.org www.example.org;
root /var/www/port80/
}
server {
listen 81;
server_name example.org www.example.org;
root /var/www/port81/
}