Não tenho certeza se esse é um assunto do Squid ou IPTables.
Na minha configuração do Squid eu tenho algo parecido com essa configuração:
http_port proxy.example.com:8080
Gostaria que o Squid aceitasse apenas conexões de usuários conectando usando 'proxy.example.com' como o domínio proxy.
Em outras palavras, se alguém se conectasse usando outro domínio que aponta o meu servidor na porta 8080, eu quero que eles tenham acesso negado ao proxy, incluindo o acesso ao endereço IP diretamente.
Isso é possível no Squid? Se não, como eu configuraria isso em IPtables?
Você definitivamente está tomando o caminho errado.
O que você está tentando é mais complicado e definitivamente não adicionará nenhuma segurança extra. Você deve considerar a filtragem dos IPs das pessoas que tentam se conectar ao proxy.
Embora seja uma má ideia, acho que isso não é possível no Squid.