Você pode adicionar alguma chamada de script de hibernação a ssh-add -D , o que removerá todas as suas identidades do agente. Mas não se esqueça de adicioná-los depois de acordar.
A melhor maneira seria travar o agente usando a opção ssh-add -x (automática ou manualmente) antes de ir para o modo de hibernação.
Ou você pode limitar o tempo de armazenamento da senha usando a opção -t para ssh-agent ou ssh-add .