Você pode fazer isso usando um agente SSH. A maioria dos ambientes de desktop inicia um para você; você pode adicionar sua chave a ele executando
ssh-add
Se você precisar iniciar o agente, execute
eval $(ssh-agent)
(isso configura várias variáveis de ambiente).
A opção -t para ssh-agent permitirá que você especifique o tempo limite. Consulte Configurando o tempo limite padrão para o agente SSH para mais detalhes.