Se esta é uma chave razoavelmente frequente, o truque é adicionar essa chave ao keychain:
eval 'keychain --eval --agents ssh id_rsa a_test.tester_key
Depois disso, a tecla certa será usada.
Se alguém usa uma chave com menos frequência, ou usa muitas chaves diferentes, é melhor parar as chaves para isso.