Eu finalmente encontrei uma resposta para essa pergunta aqui: Qualquer comando no meu terminal que saia com código diferente de zero fecha a janela do meu terminal
O que estava acontecendo é que set -e; foi definido antes da chamada ssh-add e ssh-add estava saindo com código diferente de zero, o que causou o fechamento da janela do meu terminal.
Então, finalmente, foi um problema de set -e; , então obrigado @StephenKitt por apontar isso porque isso me ajudou. set -e; estava em um arquivo que .bashrc era source '.