Você teve a ideia certa. A única parte que está faltando é que o arquivo apontado por IdentityFile
deve existir. Ele não precisa conter uma chave privada, basta ter a chave pública disponível.
No host B, você pode extrair a chave pública do agente digitando ssh-add -L | grep /Users/doxna/.ssh/id_rsa.github > ~/.ssh/id_rsa.github.pub
e, em seguida, apontar para esse arquivo em ~/.ssh/config