Sim, seria absolutamente possível que alguém acesse remotamente seu computador com seu nome de usuário e senha. Existem muitas maneiras de fazer isso (ssh, vnc, etc).
A boa notícia é que esses backdoors estão desativados por padrão, mas se você tiver aberto um desses backdoors no passado para uso próprio (sei que tenho), em muitos casos seu nome de usuário e a senha vai colocá-los.
Ou, se essa pessoa que conhece sua senha tiver acesso físico à sua máquina, presumo que ela já tenha aberto vários backdoors em sua máquina.
Talvez eu seja paranóico, mas nunca confiei em outro usuário com minha senha - e se alguém roubasse minhas informações de login de um computador, eu não confiaria mais nesse computador.