Você pode usar esse padrão para resolver seu problema: link
Isso permite que você tenha a conexão do agente SSH atualizada dinamicamente para refletir cada conexão; Eu acho que ele usa tela, mas o tmux deve ter o mesmo padrão.
O principal é usar um link simbólico para o soquete do agente SSH, que pode ser alterado dentro do tmux - e então atualizar esse link simbólico quando você se conectar em uma nova sessão SSH.