Você provavelmente deve fazer tudo isso com a função match
em seu sshd_config
em vez de tentar usar o tcp wrappers hosts.allow (que é uma função obsoleta no sshd oficial). Muitos exemplos podem ser encontrados com a pesquisa do google. Aqui está um exemplo não testado do que eu espero que seja semelhante ao que você deseja. Por favor, passe algum tempo lendo a man page e outros resultados do Google por conta própria.
PasswordAuthentication no
# git from anywhere with password auth
Match User git
PasswordAuthentication yes
# anyone not git from a specific network with password auth
Match User !git Address 192.168.0.0/16
PasswordAuthentication yes