O problema não era o Nginx, era o Wordpress. Aparentemente o WordPress redireciona a si mesmo e você tem que colocar a extensão de porta na configuração WordPress Address (URL)
no painel da seguinte forma:
http://playwithbits.com:8080
E funciona, caso contrário o WordPress redireciona para a porta 80, fazendo com que minha configuração Nginx padrão seja ativada.