Gordon Davisson respondeu, não tenho certeza o caminho certo para fechar a questão. Basicamente, eu adicionei o ssh-add ao .bash_profile. Por alguma razão eu consegui esquecer isso, e nem sequer pensei sobre o empate do terminal para a desova do bash.
Oops!