Uma forma segura de se conectar ao seu computador por meio do SSH é usar a criptografia de chave pública. Consulte aqui para um exemplo de como configurá-lo.
A criptografia de chave pública configura uma chave pública / privada para você usar para se conectar a um servidor sem precisar digitar uma senha sempre que se conectar. É mais seguro do que apenas nome de usuário / senha, embora uma combinação de nome de usuário / senha seja usada com frequência. Aqui estão mais informações sobre o endurecimento de um servidor SSH .