Muito pouco impacto no desempenho, embora consuma largura de banda.
SE o tráfego chegar ao seu servidor, ele será rejeitado, pois não corresponde a uma conexão aberta.
Seu firewall de borda também pode soltá-lo, já que não corresponde a uma conexão aberta.