Parece que você pode ter cometido um erro ao configurar o git para usar as chaves ssh. O erro seria usar o caminho .ssh/id_rsa quando realmente você precisou de ~/.ssh/id_rsa , que dirá ao ssh-agent para procurar no diretório .ssh em seu diretório inicial. Atualmente, ele pesquisará o diretório .ssh no diretório atual, e é por isso que funciona quando você está no diretório inicial.
Assumindo que você configurou suas chaves ssh de maneira semelhante a o tutorial do github , você precisará remover sua configuração defeituosa do ssh-agent e adicionar a chave com o caminho correto.
Para remover a chave incorreta, enquanto estiver no seu diretório pessoal:
ssh-add -d .ssh/id_rsa
Adicione a chave com o caminho correto:
ssh-add ~/.ssh/id_rsa
A chave agora deve estar disponível em qualquer diretório.