Você provavelmente está se conectando a https URL de seus repositórios do GitHub. Seu URL no .git/config parece de alguma forma assim:
url = https://github.com/User/repository.git
Se você quiser usar a autenticação ssh , será necessário usar o protocolo ssh e, portanto, o URL assim:
url = [email protected]:User/repository.git