Você poderia simplesmente adicionar a chave pública ao arquivo authorized_keys no servidor B, então a mesma chave seria usada para entrar no servidor A ou no Servidor B.
Como alternativa, você pode especificar a chave privada a ser usada na autenticação em um servidor:
ssh -i /path/to/id_rsa user@hostB
O ideal é que você tenha uma única chave privada e adicione a chave pública correspondente a todos os servidores nos quais deseja fazer login (todos usando a mesma chave privada).