No seguinte arquivo:
/etc/ssh/sshd_config
Você verá uma linha como:
#ListenAddress 0.0.0.0
Isto está comentado, mas é o padrão, para listar em todos os endereços IP para solicitações ssh. Você pode mudar isso para que seja o endereço IP da interface na qual você deseja aceitar as conexões e, portanto, somente esse endereço IP aceitará as conexões ssh:
ListenAddress 111.222.111.222
Reinicie o serviço sshd, uma vez alterado.