Caso o git esteja usando ssh-agent
(eu estou supondo um pouco aqui), você teria que emitir o comando
ssh-add -D
para que esqueça as credenciais armazenadas em cache para todas as suas chaves privadas. Essas credenciais teriam sido esquecidas após a reinicialização do sistema também.