Com toda a honestidade, eu acabei de configurar a autenticação baseada em chave, desabilitar a autenticação por senha e não me preocupar com as pessoas sacudindo a maçaneta da porta. Desde que você mantenha sua chave secreta, secreta, tudo ficará bem. Essa questão surge muito e, em muitos casos, é motivada pela preocupação com a desordem nos arquivos de log; Embora seja irritante, também é uma demonstração de que sua política de segurança está funcionando.
Se você realmente precisar que seu sshd seja visível apenas para o seu notebook, você pode configurar o OpenVPN entre ele e o servidor e então configurar o sshd para que ele se conecte à interface tun / tap e não para o físico. Mas então você está criptografando todo o seu tráfego duas vezes, o que parece um desperdício de entropia, para mim.