O programa que armazena em cache as suas chaves ssh é o programa ssh-agent, se você olhar para a página man, você pode ver esta opção:
-t life Set a default value for the maximum lifetime of identities added
to the agent. The lifetime may be specified in seconds or in a
time format specified in sshd_config(5). A lifetime specified
for an identity with ssh-add(1) overrides this value. Without
this option the default maximum lifetime is forever.
Você pode editar o programa ssh-agent em seus programas de inicialização. Vá para System > Preferences > Startup Programs
, procure o SSH Key Agent
e anexe -t 3600
ao comman. Isso irá expirar suas chaves em uma hora.
Você precisará reiniciar sua sessão (sair e voltar) para que ela tenha efeito. Você também pode fazer algo parecido com a sua chave gpg que também pode ser definida em um programa de agente que pode ser iniciado da mesma maneira (mas não é instalado por padrão) caso você fique cansado de digitar sua frase-passe em gpg para criação de pacotes ou envio por e-mail.