O firewall do seu roteador provavelmente protegerá você de qualquer coisa, exceto um ataque de negação de serviço (seu fornecedor pode ter algumas defesas contra isso). Certifique-se de não ter aberto nenhuma porta desnecessariamente. A reinicialização do seu roteador pode acionar uma atribuição de um novo endereço IP.
Entre em contato com seu ISP e informe a eles que houve uma ameaça e pergunte o que eles podem fazer e o que você deve fazer. Embora a aplicação da lei não possa fazer nada ainda, você pode enviar um relatório informativo para documentar o que está ocorrendo.
A propósito, se essa pessoa "souber" que seu endereço IP está no intervalo 192.168. . ou 10. . . * então não se preocupe. Estes são intervalos privados que não são roteáveis da Internet. Seu computador receberá um endereço nesse intervalo que só pode ser acessado pelo roteador e outros computadores, se houver, no mesmo segmento local.