Quando você usa ssh [email protected] , ele ignora seu arquivo de configuração, pois ele não tem um Host correspondente configurado e, em vez disso, usa o ssh simples - o que provavelmente carrega ~/.ssh/id_rsa do seu arquivo-chave do Github, ~/.ssh/github_rsa . (Observe que, se você tivesse um ssh-agent em execução, seu comando talvez utilizasse uma chave carregada anteriormente. Isso poderia acontecer se você tivesse aberto o cliente de desktop do Github.)
Para permitir que seu segundo comando funcione, duplique a entrada Host existente para github , alterando o host para github.com . Agora, quando você faz referência a esse host, o ssh tem uma configuração para ler. (Alternativamente, você pode atualizar a entrada Host atual com um padrão de caractere curinga, por exemplo, github* .)
Aqui está uma referência para o ssh_config: link . A opção -v é útil para determinar se a configuração e quais chaves, se houver, estão sendo carregadas.