O servidor foi configurado pela empresa de hospedagem e executa o UFW (Uncomplicated FireWall) acima do iptables, portanto as regras que adicionei foram sobrepostas pelas do UFW. A solução é usar:
ufw insert 1 deny from 5.45.77.40
(para garantir que a regra seja processada antes de outras mais genéricas)