Desde que você tenha uma versão atualizada do seu sistema operacional e um Antivírus decente, você deve ser bom contra todo o ataque "padrão" (qualquer ataque que uma pessoa com o google e um computador possa fazer). Apenas ter um IP e uma porta não o torna vulnerável a um ataque. EX: Você sabe o IP e a porta para o Superuser.com, mas você não pode facilmente hacká-los. A única coisa realmente "prejudicial" que eles podem fazer com você é o DDOS. desde que só exige que você saiba o IP do alvo. Mas o DDOS só faz com que a conexão à internet não seja utilizável.