O ssh-agent deve iniciar uma sessão e, quando terminar, a sessão do usuário termina. Portanto, qualquer comando após o ssh-agent talvez seja executado após o logoff.
O que você quer é um session-script
que contenha seus comandos de sessões como este:
#!/bin/bash
ssh-add /path/to/key
bash -i # or other session starter
Em seguida, inicie ssh-agent session-script
.