Acabei de me deparar com este mesmo problema. A solução é modificar o config.inc.php e especificar a URL absoluta para a sua instalação do phpMyAdmin. De acordo com a documentação do phpMyAdmin , adicione:
$cfg['PmaAbsoluteUri'] = 'http://your.domain.com/path/to/phpmyadmin/';
Nesse caso, não é necessário adicionar port_in_redirect off;
à configuração do nginx - embora a execução não pareça ter nenhum efeito adverso (e ajuda em outros cenários).