Resposta completa:
Se eu colocar tmux <...> no subcomando, posso manter ssh-agent tmux na saída de ps aux | grep agent , mas agora ssh-agent tmux está sendo executado em subshell que não terminaria após o servidor ser eliminado.
EDIT para resposta completa: Eu passei -d para desanexar quando passar as opções para tmux , então isso matou ssh-agent process.