Sim, é possível.
Eu não acho que você pode incluir o número da porta na diretiva server_name
(essa sintaxe não é mencionada em nenhum lugar no site oficial), então, tente isso, deve funcionar:
server {
listen *:80;
server_name example.org;
}
server {
listen *:8080;
server_name example.org;
}