Você pode desativar logins de senha para esse usuário específico. Você não pode fornecer uma mensagem específica, mas pelo menos não será solicitada uma senha. Adicione o seguinte em /etc/ssh/sshd_config
:
Match user git
PasswordAuthentication no
ChallengeResponseAuthentication no