Você tem algumas escolhas.
Use o agente SSH . Simplesmente use ssh-add para todas as suas chaves privadas e deixe seu agente descobrir qual tecla usar. Eu geralmente prefiro usar um agente, e sempre inicio quando eu faço login no meu sistema, e adiciono todas as minhas chaves. Isso torna tudo fácil.
Altere sua configuração do ssh
# .ssh/config
# per host example
Host blah.example.com
User zoredache
IdentityFile ~/.ssh/username_YYYYMMDD_id_rsa
# global example
Host *
User zoredache
IdentityFile ~/.ssh/key1_YYYYMMDD_id_rsa
IdentityFile ~/.ssh/key2_YYYYMMDD_id_rsa
IdentityFile ~/.ssh/keyn_YYYYMMDD_id_rsa