Eu não tenho o KDE à mão, mas eu cutuquei um pouco o gnome-keyring e parece que ele faz isso fornecendo ao cliente ssh um programa askpass alternativo.
Verifique o valor de $KWALLET_ASKPASS do seu terminal no KDE. Se estiver configurado para algo, tente isto: export SSH_ASKPASS=$KWALLET_ASKPASS .
Se você não olhar nos pacotes da sua distro e verificar se há um programa de substituição askpass associado a kwallet . Em caso afirmativo, defina SSH_ASKPASS para esse programa.