Você pode ter chaves privadas diferentes em arquivos diferentes e especificar todas elas em ~/.ssh/config usando valores IdentityFile separados (ou usando a opção -i durante a execução de ssh ). Eles seriam tentados em seqüência (checkout man 5 ssh_config ).
Se você estiver usando ssh-agent , talvez seja necessário informar ao agente sobre as várias chaves que você usa usando ssh-add .