Eu acho que o firewall do servidor fará isso, mas é bastante arriscado:
link
O problema é que, se você bloquear todo o tráfego, exceto o endereço IP, o que acontece se o seu endereço IP mudar? Você está bloqueado da sua máquina. Se você sabe que tem duas rotas para o servidor com endereços IP estáticos, você deve estar bem, mas use isso com cuidado e esteja ciente de que a única solução pode envolver a reformatação da máquina ea perda de todos os dados caso você se bloqueie.
Provavelmente, é possível usar o firewall para permitir tráfego apenas em certas portas, de forma que você possa (por exemplo) definir sua porta SSH para algo completamente não padrão e deixar essa porta aberta para qualquer IP (isso lhe dará um fallback se você se trancar para fora). Os scanners de portas encontrarão a porta aberta, mas se as pessoas que estão obtendo acesso não forem qualificadas de acordo com sua implicação, elas serão interrompidas.