Isto parece funcionar, adicionado a localização do index.php e diretamente manipulando o php dentro daquele local (caso contrário o php não é analisado):
set $allowed 0;
if ($remote_addr = my.ip.address) {
set $allowed 1;
}
location /phpmyadmin {
if ($allowed != 1) {
rewrite ^ /404 break;
}
}
location = /phpmyadmin/index.php {
if ($allowed != 1) {
rewrite ^ /404 break;
}
include snippets/fastcgi-php.conf;
fastcgi_pass unix:/run/php/php7.2-fpm.sock;
}