Copie a chave privada do usuário2 para user1:
cp /home/user2/.ssh/id_rsa /home/user1/.ssh/id_rsa.user2
cp /home/user2/.ssh/id_rsa.pub /home/user1/.ssh/id_rsa.user2.pub
chown user1:group1 /home/user1/.ssh/id_rsa.user2{,.pub}
Como user1, conecte-se com essa identidade alternativa:
ssh -i /home/user1/.ssh/id_rsa.user2
Ou adicione uma entrada de host ao /home/user1/.ssh/config
Host B
IdentityFile /home/user1/.ssh/id_rsa.user2