Você pode facilmente usar a instrução Match
(consulte sshd_config (5) ) para distinguir entre clientes e permitir exatamente um cliente (por exemplo, identificado por seu endereço IP) para efetuar login com sua senha em vez de ter uma chave SSH.