Ok, com ajuda resolvi meu problema.
Primeiro, por razões desconhecidas para mim, tentar usar o ssh em um servidor na mesma rede que o cliente causa o problema "reset by peer". É por isso que usar um proxy ou usar o IP local do servidor (192.168.1.4) resolve o problema.
Em segundo lugar, para resolver o problema de alguém tentando adivinhar minha senha, que parece ter visto em meus registros, mudei para autenticação de chave pública / privada, dei acesso somente a ssh e reduzi o git para o git-shell para segurança. Eu também atualizei minhas regras do iptables para começar a abandonar as conexões com o SSH após um certo número de tentativas em um período de tempo.
Portanto, esse problema está resolvido. Obrigado a todos.