Se o seu roteador não conseguir lidar com isso, você pode tirar proveito da diretiva 'Allow from' do Apache, seja globalmente ou em um nível específico do site. Ou, se você estiver executando o Apache no Linux, abra a porta 80 no IPTables com algo como:
-A INPUT -i eth0 -p tcp -m tcp -s [seu.primeiro.ip] --dportar 80 -j ACEITAR
-A INPUT -i eth0 -p udp -m udp -s [seu.primeiro.ip] --dportar 80 -j ACEITAR
-A INPUT -i eth0 -p tcp -m tcp -s [seu.segundo.ip] --dportar 80 -j ACEITAR
-A INPUT -i eth0 -p udp -m udp -s [your.second.ip] --dport 80 -j ACCEPT
etc.