Existe um aplicativo chamado seahorse (não sei por que esse nome, mas você pode encontrá-lo em "Senhas e chaves" em seus aplicativos), que armazena suas senhas, gpg keys e também ssh chaves e faz basicamente o mesmo que ssh-agent ou gnome-keyring .
Se você não quiser que seu computador se lembre da frase secreta, apenas remova a chave da lista "Chaves OpenSSH" e ela deverá executar o trabalho.