No arquivo /etc/ssh/sshd_config , existem esses campos:
# Use these options to restrict which interfaces/protocols sshd will bind to
#ListenAddress ::
#ListenAddress 0.0.0.0
Altere #ListenAddress 0.0.0.0 para ListenAddress 127.0.0.1 , tomando nota para remover o% principal#.
Em seguida, execute sudo reload ssh e você poderá se conectar apenas a partir do host local.