but my server is using passphrase
Não, não é. Sua chave é criptografada para que seu cliente solicite a frase secreta para que ela possa descriptografá-la.
Não fique tentado a remover a criptografia da chave - é uma coisa ruim TM .
Em vez disso, use ssh-agent ou pageant (windows) para armazenar suas chaves (com segurança) na memória enquanto durar sua sessão. Como você faz isso depende do sistema operacional do seu cliente.
Se você estiver tentando automatizar um processo, talvez seja necessário usar uma chave não criptografada, mas deve tomar precauções especiais para limitar a chave que pode ser usada para um exemplo .