Adicione / Edite o seguinte na configuração do vhost ou no arquivo .htaccess
correspondente:
<Location /path/to/phpmyadmin>
Order allow,deny
Allow from 1.2.3.4
Allow from 5.4.3.2
Deny from all
</Location>
Substitua o caminho da pasta e do IP conforme necessário.