Se dois hosts estiverem na mesma sub-rede, o tráfego não terá motivo para passar pelo roteador. Suas regras nunca são aplicadas . Os dois dispositivos estão conectados a um switch (ou algum outro hardware de rede da Camada 2). O host A diz "Eu quero que esse tráfego vá para o IP do Host B" e seu switch diz "Ok, pronto".
ATUALIZAÇÃO: Se as VLANs forem uma opção, coloque cada host em uma VLAN separada. Dessa forma, você pode impor regras de roteamento entre elas e obter a separação lógica desejada.