A resposta provável é que a perda não tem nada a ver com seu servidor, mas sim com a rede em algum lugar entre a interface de rede do servidor e o gateway. Poderia ser contenção de porta em algum lugar ao longo da linha, poderia ser um mau cabeamento, etc.
De qualquer forma, não é problema seu resolver. Você deve entrar em contato com o ISP, fornecer as informações que coletou e pedir que eles resolvam o problema.