você pode gerar uma chave protegida com uma senha. por isso, mesmo que a autenticação seja baseada em chave para que isso aconteça, você terá que digitar a senha do certificado
edit: e não use o agente ssh;) (embora eu não tenha certeza se o cache do agente ssh também é a senha do certificado)