Existe um aplicativo chamado seahorse
(não sei por que esse nome, mas você pode encontrá-lo em "Senhas e chaves" em seus aplicativos), que armazena suas senhas, gpg
keys e também ssh
chaves e faz basicamente o mesmo que ssh-agent
ou gnome-keyring
.
Se você não quiser que seu computador se lembre da frase secreta, apenas remova a chave da lista "Chaves OpenSSH" e ela deverá executar o trabalho.