Eu continuei a mexer com a configuração do Apache e substituí:
<Directory /usr/share/phppgadmin>
DirectoryIndex index.php
Order deny,allow
Allow from all
</Directory>
por
<Directory /usr/share/phppgadmin>
Require all granted
</Directory>
fez o truque.
Eu sempre não sou completamente claro sobre esse tipo de detalhes com a configuração do Apache que parece ser a mesma ou quase a mesma, mas dá resultados completamente diferentes no final ... Qualquer esclarecimento sobre este ponto seria apreciado!