Se alguém tiver um programa de acesso remoto instalado sem o seu conhecimento, sim. A melhor coisa que você pode fazer é bloquear o firewall e, se estiver atrás de um roteador, desative todo o encaminhamento de porta. Isso deve reduzir o número de vetores de ataque.
A única coisa com a qual você teria que se preocupar é os programas capazes de atravessar firewalls e roteadores, como o LogMeIn e o CrossLoop, mas eles geralmente aparecem na barra de tarefas, na lista Adicionar / Remover Programas e / ou na gerenciador de tarefas.