iptables
resolverá o nome no momento em que o firewall for carregado. Não funcionará para servidores com endereços dinâmicos, como você está encontrando. Se o site com problema tivesse um endereço estático, você precisaria apenas da regra INPUT.
A reconfiguração do Apache deve ser capaz de fazer isso, mas vai custar uma pesquisa de DNS para cada solicitação que o servidor responder. Instale um servidor DNS de cache se você ainda não tiver um. Algo leve como dnsmasq
deve ser suficiente para um site menor. Algo como o seguinte deve proibir o acesso. Consulte o Guia de Regravação de URLs para orientação adicional.
RewriteEngine on
RewriteCond %{REMOTE_HOST} example\.com$
RewriteRule * - [F]