he asks not only for the passphrase of my rsa_key but also for the password of the gituser.
Isso significa que o ssh não autenticou a solicitação por meio da public_key (porque a chave pública não foi encontrada no lado do cliente ou está incorretamente registrada no servidor ou a senha não foi fornecida, é a chave que é protegida por senha, por um agente ssh). Nesse caso, ssh assume como padrão uma senha de conta para identificação (seja ou não a conta criada com uma senha).
Faça um ssh -Tvvv git@<server>
para solucionar melhor o que exatamente faz com que o comando ssh falhe.