Se seus amigos conseguirem acessar o SSH no seu computador, eles estão usando parte da sua largura de banda e, portanto, é impossível bloqueá-los completamente para acessar sua conexão com a Internet.
Dito isso, uma solução seria limitar o que seus amigos podem fazer com sua conexão. Você pode configurar um firewall que coloque na lista de permissões os IPs e as listas negras do seu amigo. Dessa forma, seus amigos poderiam usar o SSH em seu computador, mas a partir daí não conseguiriam alcançar nenhum outro IP além do deles.
Eu nunca configurei um firewall específico para o usuário, mas acredito que seja possível alcançar com IPTables . Além disso, lembre-se de que seus usuários ainda podem consumir muita largura de banda enviando arquivos grandes para o servidor. Se você quiser evitar isso, será necessário limitar a largura de banda por usuário .