Você certamente pode usar sua opção de mais de uma chave, mas não acredito que o SSH permita a necessidade de mais de uma chave em uma única conexão. No lado de recebimento (sua máquina B), você especifica uma lista de chaves aceitáveis, e qualquer uma delas fornecida fará o trabalho.
Além do arquivo de configuração Ignacio menciona , o comando ssh
tem uma opção -i
que você pode usar para especificar o arquivo de chave de sua escolha ao autenticar caso a caso quando você corre.