Talvez você possa tentar reformular de forma que a fórmula teste se algum de seus componentes aparecer nas células anteriores.
Por exemplo, supondo que todas as suas entradas com itens adicionais estejam sempre separadas por pontos (.) e tenham 3 itens (HOSTABC.domain.com) como no caso acima, algo nas seguintes linhas pode funcionar:
=IF(OR(COUNTIF($F$1:$F1,"="&$F2&"*")>0,COUNTIF($F$1:$F1,"="&LEFT($F2,FIND(".",$F2)-1)&"*")>0,COUNTIF($F$1:$F1,"="&MID($F2,FIND(".",$F2)+1,FIND(".",$F2,FIND(".",$F2)+1)-FIND(".",$F2)-1)&"*")>0,COUNTIF($F$1:$F1,"="&RIGHT($F2,LEN($F2)-FIND(".",$F2,FIND(".",$F2)+1))&"*")>0),0,1)
EDITAR:
Para sua pergunta de acompanhamento, ref. a validade, algo ao longo das seguintes linhas pode funcionar:
=IF(OR(COUNTIF(F:F,"="&$F2&"*")>1,COUNTIF(F:F,"="&LEFT($F2,FIND(".",$F2)-1)&"*")>1),"Valid","")
Além disso, eu entendo pela resposta da SuperSam que você precisa apenas do nome do host (por exemplo, HOSTABC). A resposta acima está apenas verificando isso. Além disso, se esse for o caso, você pode simplificar minha primeira fórmula sugerida da seguinte forma:
=IF(OR(COUNTIF($F$1:$F1,"="&$F2&"*")>0,COUNTIF($F$1:$F1,"="&LEFT($F2,FIND(".",$F2)-1)&"*")>0),0,1)