Você pode definir o chaveiro padrão (login) para travar no modo de suspensão ou após um tempo limite, o que também parece liberar o agente SSH.
Abra o Acesso às Chaves e clique com o botão direito do mouse nas chaves de login para alterar as configurações (acho que você vai querer um tempo limite menor do que eu):
Ou se você preferir uma linha de comando:
security set-keychain-settings -lu -t 1 # for a 1 second timeout
Eu estava usando a alteração org.openbsd.ssh-agent.plist que você mencionou nos comentários, mas no El Cap você precisa desabilitar o System Integrity Protection para fazer isso, o que não me agrada. Minha solução requer um prompt extra para desbloquear, mas é a opção mais limpa que encontrei até agora.