Certamente pode ser alguém tentando estabelecer uma sessão ssh com o computador. Dependendo do sistema operacional que você está usando, essas sessões serão registradas.
Geralmente eles estão conectados em um dos arquivos abaixo:
/var/log/syslog
/var/log/auth
/var/log/auth.log
/var/log/secure
/var/logs/system.log
Se você não encontrar nada, tente executar esses comandos com privilégios de root para ter uma ideia de onde procurar:
grep -ir ssh /var/log/*
grep -ir sshd /var/log/*
grep -ir breakin /var/log/*
grep -ir security /var/log/*
Veja se algum IP, nome de host ou aviso suspeito aparece nos logs. Se assim for, você pode colocá-los na lista negra.
Se você reinicializar o computador, as sessões remanescentes do SSH devem ser dissolvidas. Portanto, se esses processos continuarem gerando sem que seu amigo use o SSH, algo ou alguém estará se conectando ao computador.