Se estiver solicitando uma "senha", seu servidor SSH não está configurado corretamente.
Se estiver solicitando uma "frase secreta", isso funcionará como esperado, se você não quiser digitar uma frase secreta ao usar as teclas, não insira uma frase secreta ao criar a chave.
Não usar uma senha é um problema de segurança, você deve pensar sobre a situação de seus servidores (importância do que faz, quem pode acessá-la etc.) antes de prosseguir sem uma frase secreta.