O que você está realmente procurando é um ssh-agent . Isso é o que lembra o fato de que você desbloqueou sua chave com uma frase secreta e a mantém desbloqueada enquanto você está conectado. Há algumas implementações diferentes, gnome-keyring fornece uma, embora para servidores sem cabeçalho você possa chamar mais facilmente ssh-agent diretamente em seu .bashrc ou use keychain , que é um aplicativo que envolve ssh-agent e facilita muito a vida.
O Keychain deve estar disponível via sudo apt-get install keychain ou no Fedora ( dnf ), CentOS ( yum ) ou Arch ( pacman ). Depois de instalá-lo, você poderá adicionar uma linha como eval $(keychain --eval) ao seu .bashrc e ele será iniciado e manterá apenas uma instância de ssh-agent em execução para seu usuário. Se você adicionar um nome de chave após o --eval , ele carregará a (s) chave (s) com o nome na primeira vez que você fizer login, solicitando sua (s) senha (s) imediatamente e mantê-las escondidas.
Você pode ver quais chaves são carregadas com ssh-add -l e você pode adicionar uma chave com ssh-add ~/.ssh/keyname , que solicitará apenas uma vez a frase secreta e a armazenará até que você efetue logout ou keychain seja interrompido / eliminado. Você pode adicionar um comando kill a .bash_logout se estiver preocupado em manter suas chaves desbloqueadas depois de desconectar.
Veja o site muito legal com excelentes links para como o OpenSSH funciona e bons exemplos, link e aproveite para não digitar sua senha repetidamente .