Você quer dizer passphrase (para ser usado com encapsulamento de chave pública) ou senha? Você não está nem sendo perguntado por uma senha. Se você quiser a aceitação da senha além da senha, talvez seja necessário algo como:
PreferredAuthentications publickey,keyboard-interactive,password
no seu ssh_config .
Além disso, o IndentityFile não deveria ser a chave privada e não a chave pública?