Eu recomendaria usar a autenticação baseada em chave junto com uma senha com SSH para segurança, em vez da complicada configuração do iptables que você está usando. Apenas permita a porta 22 e seu servidor ainda estará seguro.
Será difícil criar as regras de firewall de forma a garantir que os commits do seu git não irão desligar o seu acesso, pois o firewall não pode dizer a diferença.