Minha pergunta é (muito) semelhante a prompt lento para senha de chave pública ssh mas a resposta fornecida lá (usando o anel de chave do GNOME) realmente não se encaixa na conta (eu prefiro não confiar em X ou qualquer outro ambiente gráfico).
Eu estou procurando uma solução que carregue sua chave SSH de maneira preguiçosa, o que significa que ela só pede uma senha quando a chave é realmente necessária para que não atrapalhe quando você não precisa dela .
Existe alguma solução de linha de comando ou alguns ganchos que eu possa usar?
Você já tentou usar o ssh-agent? Eu acho que vale a pena investigar, você só precisa mudar para usar a autenticação de chave pública e executar o agente no computador, conectando-o a outro lugar.
Outro está usando o keychain, explicado em: link
Mas é recomendado apenas para fins de script. As senhas estão lá para melhorar a segurança, caso sua conta seja comprometida.
Tags command-line ssh linux ssh-keys