Mesmo se ssh-agent estiver em execução, ele não será usado até você adicionar algumas chaves a ele - como em ssh-add .
Quanto às entradas de frase-chave gráfica, elas não são parte de ssh-agent nem ssh-add . No GNOME, eles são exibidos por um programa totalmente diferente, o GNOME Keyring Daemon (que também atua como uma substituição ssh-agent ). Não tenho conhecimento de um análogo do KDE.
Existe uma forma de obter entrada gráfica com ssh-add , apontando a variável de ambiente SSH_ASKPASS para um programa "askpass" adequado, executando ssh-add < /dev/null .
Eu pessoalmente uso o programa pinentry do GnuPG (tem frontends do KDE e do GNOME, mas deve ser usado através de um script de wrapper . Parece haver um pacote ksshaskpass disponível para o Ubuntu também.