Em teoria, qualquer pessoa pode realizar uma varredura de portas. Isso não significa que você tem uma infecção por vírus, malware ou algo assim. Existem milhares de bots na rede que receberão blocos de endereços IP (seja tentando aleatoriamente ou por causa de listas enormes em alguns sites obscuros) e realizando varreduras de porta, para tentar detectar portas abertas potencialmente perigosas.
Em seguida, eles possivelmente tentariam executar ataques de força bruta ou tentar explorar alguma vulnerabilidade.
As verificações em si não são prejudiciais, por isso não se preocupe com isso.