O servidor não está pedindo passpharse, o servidor pedia senha.
O código de acesso faz parte da sua chave privada que você está usando para autenticação. Existem vários métodos para remover a frase secreta da chave, por exemplo, usando ssh-keygen
:
ssh-keygen -p [-P old_passphrase] [-N new_passphrase] [-f keyfile]
Então, para o seu caso
ssh-keygen -p -P old_passphrase -N "" -f /path/to/your.key