Isso é fácil de ser feito.
Vá para /my/path/to/phpmyadmin/config.inc.php. Abra o seu editor favorito e:
// Uncomment this line if it's commented.
// Then insert a random string in the quotes ('').
// Have in mind not to enter symbols as " or ' in the quotes.
// You could use something like this - dsd87892@829109skmclwopa&
// It doesn't matter what exactly you type as long as it's not ' and " :)
$cfg['blowfish_secret'] = ''; /* YOU MUST FILL IN THIS FOR COOKIE AUTH! */
// Then find this and set it to cookie. ( I don't know what's the default. )
$cfg['Servers'][$i]['auth_type'] = 'cookie';
Tudo agora deve estar funcionando bem e deve pedir um usuário e senha.
Além disso, você poderia adicionar um Auth HTTP como @Cocowalla disse - para ainda mais segurança.
Espero que isso ajude:)