Como o seu amigo está se conectando via SSH:
O bloqueio do endereço IP pode ser uma má ideia, suponho que você tenha algum servidor DHCP em execução na sua LAN - > o endereço IP do invasor mudará eventualmente.
Você também pode bloqueá-lo com base no endereço MAC, que, no entanto, só funcionará quando ele estiver se conectando da mesma sub-rede.
Recomendo que você altere a senha, pois essa é a raiz do problema.
Como alternativa, você pode impedir que seu próprio usuário faça o login via ssh e crie um novo usuário para conectar ao seu computador. É claro que você não deve dar a senha desse usuário para aquele amigo seu, isso é auto-explicativo. (Uma vez conectado com o novo usuário, você pode usar o comando su para mudar para o seu usuário original)
Existem muitas outras soluções para o seu problema, mas realmente sugere apenas que você altere a senha.
Atualizar
Para desativar SSH access, edite sshd_config ( vim /etc/ssh/sshd_config ) e
procure por DenyUsers . Se não houver tal entrada, inclua-a em uma nova linha, assim terminará com o seguinte: DenyUsers <the-username-to-block>
Agora reinicie o daemon sshd : sudo /etc/init.d/ssh restart
Agora, adicione um novo usuário com adduser <some-new-name> . Uma vez conectado ao novo usuário, use su <your original username> para entrar no contexto do usuário original.