Você pode fazer isso usando um agente SSH. A maioria dos ambientes de desktop inicia um para você; você pode adicionar sua chave a ele executando
ssh-add
Se você precisar iniciar o agente, execute
eval $(ssh-agent)
(isso configura várias variáveis de ambiente).
A opção -t
para ssh-agent
permitirá que você especifique o tempo limite. Consulte Configurando o tempo limite padrão para o agente SSH para mais detalhes.