Não é possível. Os pacotes TCP possuem apenas endereços IP de origem e de destino, não o FQDN. Portanto, se seu domínio e subdomínio apontam para os mesmos endereços IP, não há como o iptables poder distinguir com qual usuário 'domínio' está se conectando.